/[smeserver]/builds_bin/update_repos
ViewVC logotype

Diff of /builds_bin/update_repos

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

Revision 1.52 by slords, Tue Dec 1 16:17:48 2009 UTC Revision 1.57 by slords, Sun May 23 19:50:15 2010 UTC
# Line 26  my $repotag = 'sme'; Line 26  my $repotag = 'sme';
26    
27  my @archs = ( 'i386', 'x86_64' );  my @archs = ( 'i386', 'x86_64' );
28    
29  my $distrepo = { '7' => { active   => 1,  my $distrepo = { '7' => { active    => 1,
30                            centos   => 4,                            centos    => 4,
31                            fedora   => 3,                            repo      => '/releases/7/',
32                            repo     => '/releases/7/',                            os        => 'RPMS/',
33                            os       => 'RPMS/',                            builds    => '/builds/smeserver-7-core/',
34                            builds   => '/builds/smeserver-7-core/',                            community => '/builds/smeserver-7-contribs/',
35                            contribs => '/builds/smeserver-7-contribs/',                            stage     => '/stage/7/',
                           stage    => '/stage/7/',  
36                          },                          },
37                   '8' => { active   => 1,                   '8' => { active    => 1,
38                            centos   => 5,                            centos    => 5,
39                            fedora   => 6,                            repo      => '/releases/testing/8/',
40                            repo     => '/releases/testing/8/',                            os        => '',
41                            os       => '',                            builds    => '/builds/smeserver-8-core/',
42                            builds   => '/builds/smeserver-8-core/',                            community => '/builds/smeserver-8-contribs/',
43                            contribs => '/builds/smeserver-8-contribs/',                            stage     => '/stage/8/',
                           stage    => '/stage/8/',  
44                          },                          },
45                 };                 };
46    
# Line 56  my $repos = { "${repotag}os" Line 54  my $repos = { "${repotag}os"
54                "${repotag}dev"             => { prio => 11, inc => 0, ver => 1, rel => 1, devel => 1 },                "${repotag}dev"             => { prio => 11, inc => 0, ver => 1, rel => 1, devel => 1 },
55                'centos'                    => { prio => 10, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'centos'                    => { prio => 10, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
56                'epel'                      => { prio =>  9, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'epel'                      => { prio =>  9, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
               'fedora-extras'             => { prio =>  8, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },  
57                'rpmforge'                  => { prio =>  7, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'rpmforge'                  => { prio =>  7, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
58                'atrpms'                    => { prio =>  6, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'atrpms'                    => { prio =>  6, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
               'fedora'                    => { prio =>  5, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },  
59                'builds'                    => { prio =>  4, inc => 0, ver => 0, rel => 0, orig => 1 },                'builds'                    => { prio =>  4, inc => 0, ver => 0, rel => 0, orig => 1 },
60                'contribs'                  => { prio =>  2, inc => 0, ver => 0, rel => 0, orig => 1 },                'community'                 => { prio =>  2, inc => 0, ver => 0, rel => 0, orig => 1 },
61                'stage'                     => { prio =>  1, inc => 0, ver => 0, rel => 0, stage => 1, os => 1 },                'stage'                     => { prio =>  1, inc => 0, ver => 0, rel => 0, stage => 1, os => 1 },
62              };              };
63    
# Line 80  my $baserepo = { "~S${repotag}os/~A/$osd Line 76  my $baserepo = { "~S${repotag}os/~A/$osd
76                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',
77                   '/mirrors/fedora/epel/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/~C/~A/' => 'epel',
78                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',
                  '/mirrors/fedora/extras/~F/~A/' => 'fedora-extras',  
79                   '/mirrors/rpmforge/dag/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',                   '/mirrors/rpmforge/dag/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',
80                   '/mirrors/rpmforge/dag/source/' => 'rpmforge',                   '/mirrors/rpmforge/dag/source/' => 'rpmforge',
81                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',
82                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',
83                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',
84                   '/mirrors/atrpms/src/el~C-~A/atrpms/testing/' => 'atrpms',                   '/mirrors/atrpms/src/el~C-~A/atrpms/testing/' => 'atrpms',
                  '/mirrors/fedora/core/~F/~A/os/Fedora/RPMS/' => 'fedora',  
                  '/mirrors/fedora/core/updates/~F/~A/' => 'fedora',  
85                 };                 };
86    
87  if ( $opts{q} ) {  if ( $opts{q} ) {
# Line 100  if ( $opts{q} ) { Line 93  if ( $opts{q} ) {
93    
94  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
95                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv', 'proftpd' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv', 'proftpd' ) },
96                           'fedora-extras' => { map { $_ => 1 } ( 'ddclient', 'hddtemp', 'pam_abl', 'perl-Compress-Bzip2', 'perl-Error', 'perl-HTML-Format', 'perl-MIME-Types', 'perl-Net-IP', 'perl-Archive-Zip', 'perl-Class-Singleton', 'perl-Razor-Agent', 'perl-Test-Inline', 'perl-Text-Autoformat', 'perl-Text-Iconv', 'perl-Text-Reform', 'perl-XML-RSS' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
                          'rpmforge'      => { map { $_ => 1 } ( 'perl-Test-Inline' ) },  
97                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },
98                         },                         },
99                  '8' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },                  '8' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
100                           'fedora'        => { map { $_ => 1 } ( 'kernel', 'kernel-xen' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'libtalloc', 'libtdb', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'proftpd', 'smolt' ) },
101                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'proftpd', 'smolt' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
                          'fedora-extras' => { map { $_ => 1 } ( 'dstat', 'gocr', 'horde', 'oidentd', 'perl-Compress-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Test-Inline', 'perl-Razor-Agent', 'smolt' ) },  
                          'rpmforge'      => { map { $_ => 1 } ( 'perl-Test-Inline' ) },  
102                         },                         },
103                };                };
104    
# Line 131  foreach my $ver ( sort { $a <=> $b } key Line 121  foreach my $ver ( sort { $a <=> $b } key
121          $bdir =~ s/~S/$distrepo->{$ver}->{repo}/;          $bdir =~ s/~S/$distrepo->{$ver}->{repo}/;
122          $bdir =~ s/~s/$ver/;          $bdir =~ s/~s/$ver/;
123          $bdir =~ s/~C/$distrepo->{$ver}->{centos}/;          $bdir =~ s/~C/$distrepo->{$ver}->{centos}/;
         $bdir =~ s/~F/$distrepo->{$ver}->{fedora}/;  
124          for my $arch ( @archs, 'SRPMS/' ) {          for my $arch ( @archs, 'SRPMS/' ) {
125              my $adir = $bdir;              my $adir = $bdir;
126              if ( $arch eq 'SRPMS/' ) {              if ( $arch eq 'SRPMS/' ) {
# Line 147  foreach my $ver ( sort { $a <=> $b } key Line 136  foreach my $ver ( sort { $a <=> $b } key
136          }          }
137      }      }
138      find( { wanted => sub { process_rpm($_, $ver, 'builds'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'builds'} );      find( { wanted => sub { process_rpm($_, $ver, 'builds'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'builds'} );
139      find( { wanted => sub { process_rpm($_, $ver, 'contribs'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'contribs'} );      find( { wanted => sub { process_rpm($_, $ver, 'community'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'community'} ) if $distrepo->{$ver}->{'community'};
140    
141      foreach my $base ( sort keys %$rpms ) {      foreach my $base ( sort keys %$rpms ) {
142          next unless $rpms->{$base}->{rpms};          next unless $rpms->{$base}->{rpms};
# Line 168  foreach my $ver ( sort { $a <=> $b } key Line 157  foreach my $ver ( sort { $a <=> $b } key
157                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;
158                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
159                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
160                    ($tmp = $pkg->{svr}) =~ s{(\.el\d)\.rf$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
161                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d(\.rf)$}{$1$2} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d(\.rf)$}{$1$2} && $rpms->{$base}->{vers}->{$tmp} && last SRC;
162                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
163                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;
# Line 270  foreach my $ver ( sort { $a <=> $b } key Line 260  foreach my $ver ( sort { $a <=> $b } key
260                              my $dest = $repos->{$track{repo}}->{prio} > $repos->{$devel2}->{prio} ? $track{repo} : $devel2;                              my $dest = $repos->{$track{repo}}->{prio} > $repos->{$devel2}->{prio} ? $track{repo} : $devel2;
261                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});
262                              $dest = $devel1 if verrel($cmp, $dest, \%counts);                              $dest = $devel1 if verrel($cmp, $dest, \%counts);
263                              if ( $cmp->{src} && ! $reposrc{$dest} ) {                              unless ( $cmp->{src} && ! $reposrc{$dest} ) {
264                                  $cmp->{delete}++;                                  if ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {
265                              } elsif ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {                                      unless ( $repos->{$cmp->{repo}}->{base} ) {
266                                  unless ( $repos->{$cmp->{repo}}->{base} ) {                                          my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};
267                                      my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};                                          qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";
268                                      qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";                                      }
269                                        push @{$cmp->{repos}}, $dest;
270                                        $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};
271                                        $cmp->{repo} = $dest;
272                                        $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};
273                                        $orig{$cmp->{nvra}}++;
274                                  }                                  }
                                 push @{$cmp->{repos}}, $dest;  
                                 $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};  
                                 $cmp->{repo} = $dest;  
                                 $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};  
                                 $orig{$cmp->{nvra}}++;  
                             } else {  
                                 $cmp->{delete}++;  
275                              }                              }
276                          } else {                          } else {
277                              $cmp->{delete}++;                              $cmp->{delete}++;
# Line 412  foreach my $ver ( sort { $a <=> $b } key Line 400  foreach my $ver ( sort { $a <=> $b } key
400              chomp $dir;              chomp $dir;
401              print "rebuild $repo/$arch\n";              print "rebuild $repo/$arch\n";
402              unless ( $opts{t} ) {              unless ( $opts{t} ) {
403                  if ( -f "$dir/repodata/comps.xml" ) {                  if ( $dir =~ m{test} ) {
404                      qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);                      if ( -f "$dir/repodata/comps.xml" ) {
405                  } else {                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
406                      qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);                      } else {
407                  }                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
408                        }
409                    } else {
410                        if ( -f "$dir/repodata/comps.xml" ) {
411                            qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
412                        } else {
413                            qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
414                        }
415                    }
416                  qx(repoview $dir);                  qx(repoview $dir);
417                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";
418                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";
# Line 424  foreach my $ver ( sort { $a <=> $b } key Line 420  foreach my $ver ( sort { $a <=> $b } key
420          }          }
421      }      }
422      unless ( $opts{t} ) {      unless ( $opts{t} ) {
423          finddepth(sub{rmdir}, $distrepo->{$ver}->{$_}) foreach ('builds','contribs');          finddepth(sub{rmdir}, $distrepo->{$ver}->{builds}) if -d "$distrepo->{$ver}->{builds}";
424            finddepth(sub{rmdir}, $distrepo->{$ver}->{community}) if -d "$distrepo->{$ver}->{community}";
425      }      }
426  }  }
427    

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
admin@koozali.org
 ViewVC Help
Powered by ViewVC 1.2.1 RSS 2.0 feed