/[smeserver]/builds_bin/update_repos
ViewVC logotype

Diff of /builds_bin/update_repos

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

Revision 1.52 by slords, Tue Dec 1 16:17:48 2009 UTC Revision 1.58 by slords, Sat Jul 24 15:28:38 2010 UTC
# Line 26  my $repotag = 'sme'; Line 26  my $repotag = 'sme';
26    
27  my @archs = ( 'i386', 'x86_64' );  my @archs = ( 'i386', 'x86_64' );
28    
29  my $distrepo = { '7' => { active   => 1,  my $distrepo = { '7' => { active    => 1,
30                            centos   => 4,                            centos    => 4,
31                            fedora   => 3,                            repo      => '/releases/7/',
32                            repo     => '/releases/7/',                            os        => 'RPMS/',
33                            os       => 'RPMS/',                            builds    => '/builds/smeserver-7-core/',
34                            builds   => '/builds/smeserver-7-core/',                            community => '/builds/smeserver-7-contribs/',
35                            contribs => '/builds/smeserver-7-contribs/',                            stage     => '/stage/7/',
                           stage    => '/stage/7/',  
36                          },                          },
37                   '8' => { active   => 1,                   '8' => { active    => 1,
38                            centos   => 5,                            centos    => 5,
39                            fedora   => 6,                            repo      => '/releases/testing/8/',
40                            repo     => '/releases/testing/8/',                            os        => '',
41                            os       => '',                            builds    => '/builds/smeserver-8-core/',
42                            builds   => '/builds/smeserver-8-core/',                            community => '/builds/smeserver-8-contribs/',
43                            contribs => '/builds/smeserver-8-contribs/',                            stage     => '/stage/8/',
                           stage    => '/stage/8/',  
44                          },                          },
45                 };                 };
46    
# Line 56  my $repos = { "${repotag}os" Line 54  my $repos = { "${repotag}os"
54                "${repotag}dev"             => { prio => 11, inc => 0, ver => 1, rel => 1, devel => 1 },                "${repotag}dev"             => { prio => 11, inc => 0, ver => 1, rel => 1, devel => 1 },
55                'centos'                    => { prio => 10, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'centos'                    => { prio => 10, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
56                'epel'                      => { prio =>  9, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'epel'                      => { prio =>  9, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
               'fedora-extras'             => { prio =>  8, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },  
57                'rpmforge'                  => { prio =>  7, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'rpmforge'                  => { prio =>  7, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
58                'atrpms'                    => { prio =>  6, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'atrpms'                    => { prio =>  6, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
               'fedora'                    => { prio =>  5, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },  
59                'builds'                    => { prio =>  4, inc => 0, ver => 0, rel => 0, orig => 1 },                'builds'                    => { prio =>  4, inc => 0, ver => 0, rel => 0, orig => 1 },
60                'contribs'                  => { prio =>  2, inc => 0, ver => 0, rel => 0, orig => 1 },                'community'                 => { prio =>  2, inc => 0, ver => 0, rel => 0, orig => 1 },
61                'stage'                     => { prio =>  1, inc => 0, ver => 0, rel => 0, stage => 1, os => 1 },                'stage'                     => { prio =>  1, inc => 0, ver => 0, rel => 0, stage => 1, os => 1 },
62              };              };
63    
# Line 80  my $baserepo = { "~S${repotag}os/~A/$osd Line 76  my $baserepo = { "~S${repotag}os/~A/$osd
76                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',
77                   '/mirrors/fedora/epel/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/~C/~A/' => 'epel',
78                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',
                  '/mirrors/fedora/extras/~F/~A/' => 'fedora-extras',  
79                   '/mirrors/rpmforge/dag/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',                   '/mirrors/rpmforge/dag/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',
80                   '/mirrors/rpmforge/dag/source/' => 'rpmforge',                   '/mirrors/rpmforge/dag/source/' => 'rpmforge',
81                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',
82                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',
83                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',
84                   '/mirrors/atrpms/src/el~C-~A/atrpms/testing/' => 'atrpms',                   '/mirrors/atrpms/src/el~C-~A/atrpms/testing/' => 'atrpms',
                  '/mirrors/fedora/core/~F/~A/os/Fedora/RPMS/' => 'fedora',  
                  '/mirrors/fedora/core/updates/~F/~A/' => 'fedora',  
85                 };                 };
86    
87  if ( $opts{q} ) {  if ( $opts{q} ) {
# Line 100  if ( $opts{q} ) { Line 93  if ( $opts{q} ) {
93    
94  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
95                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv', 'proftpd' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv', 'proftpd' ) },
96                           'fedora-extras' => { map { $_ => 1 } ( 'ddclient', 'hddtemp', 'pam_abl', 'perl-Compress-Bzip2', 'perl-Error', 'perl-HTML-Format', 'perl-MIME-Types', 'perl-Net-IP', 'perl-Archive-Zip', 'perl-Class-Singleton', 'perl-Razor-Agent', 'perl-Test-Inline', 'perl-Text-Autoformat', 'perl-Text-Iconv', 'perl-Text-Reform', 'perl-XML-RSS' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
                          'rpmforge'      => { map { $_ => 1 } ( 'perl-Test-Inline' ) },  
97                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },
98                         },                         },
99                  '8' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },                  '8' => { 'atrpms'        => { map { $_ => 1 } ( 'gnupg' ) },
100                           'fedora'        => { map { $_ => 1 } ( 'kernel', 'kernel-xen' ) },                           'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
101                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'proftpd', 'smolt' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'libtalloc', 'libtdb', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'proftpd', 'smolt' ) },
102                           'fedora-extras' => { map { $_ => 1 } ( 'dstat', 'gocr', 'horde', 'oidentd', 'perl-Compress-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Test-Inline', 'perl-Razor-Agent', 'smolt' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'libtalloc', 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
                          'rpmforge'      => { map { $_ => 1 } ( 'perl-Test-Inline' ) },  
103                         },                         },
104                };                };
105    
# Line 131  foreach my $ver ( sort { $a <=> $b } key Line 122  foreach my $ver ( sort { $a <=> $b } key
122          $bdir =~ s/~S/$distrepo->{$ver}->{repo}/;          $bdir =~ s/~S/$distrepo->{$ver}->{repo}/;
123          $bdir =~ s/~s/$ver/;          $bdir =~ s/~s/$ver/;
124          $bdir =~ s/~C/$distrepo->{$ver}->{centos}/;          $bdir =~ s/~C/$distrepo->{$ver}->{centos}/;
         $bdir =~ s/~F/$distrepo->{$ver}->{fedora}/;  
125          for my $arch ( @archs, 'SRPMS/' ) {          for my $arch ( @archs, 'SRPMS/' ) {
126              my $adir = $bdir;              my $adir = $bdir;
127              if ( $arch eq 'SRPMS/' ) {              if ( $arch eq 'SRPMS/' ) {
# Line 147  foreach my $ver ( sort { $a <=> $b } key Line 137  foreach my $ver ( sort { $a <=> $b } key
137          }          }
138      }      }
139      find( { wanted => sub { process_rpm($_, $ver, 'builds'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'builds'} );      find( { wanted => sub { process_rpm($_, $ver, 'builds'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'builds'} );
140      find( { wanted => sub { process_rpm($_, $ver, 'contribs'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'contribs'} );      find( { wanted => sub { process_rpm($_, $ver, 'community'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'community'} ) if $distrepo->{$ver}->{'community'};
141    
142      foreach my $base ( sort keys %$rpms ) {      foreach my $base ( sort keys %$rpms ) {
143          next unless $rpms->{$base}->{rpms};          next unless $rpms->{$base}->{rpms};
# Line 168  foreach my $ver ( sort { $a <=> $b } key Line 158  foreach my $ver ( sort { $a <=> $b } key
158                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;
159                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
160                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
161                    ($tmp = $pkg->{svr}) =~ s{(\.el\d)\.rf$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
162                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d(\.rf)$}{$1$2} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d(\.rf)$}{$1$2} && $rpms->{$base}->{vers}->{$tmp} && last SRC;
163                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
164                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;
# Line 270  foreach my $ver ( sort { $a <=> $b } key Line 261  foreach my $ver ( sort { $a <=> $b } key
261                              my $dest = $repos->{$track{repo}}->{prio} > $repos->{$devel2}->{prio} ? $track{repo} : $devel2;                              my $dest = $repos->{$track{repo}}->{prio} > $repos->{$devel2}->{prio} ? $track{repo} : $devel2;
262                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});
263                              $dest = $devel1 if verrel($cmp, $dest, \%counts);                              $dest = $devel1 if verrel($cmp, $dest, \%counts);
264                              if ( $cmp->{src} && ! $reposrc{$dest} ) {                              unless ( $cmp->{src} && ! $reposrc{$dest} ) {
265                                  $cmp->{delete}++;                                  if ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {
266                              } elsif ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {                                      unless ( $repos->{$cmp->{repo}}->{base} ) {
267                                  unless ( $repos->{$cmp->{repo}}->{base} ) {                                          my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};
268                                      my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};                                          qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";
269                                      qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";                                      }
270                                        push @{$cmp->{repos}}, $dest;
271                                        $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};
272                                        $cmp->{repo} = $dest;
273                                        $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};
274                                        $orig{$cmp->{nvra}}++;
275                                  }                                  }
                                 push @{$cmp->{repos}}, $dest;  
                                 $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};  
                                 $cmp->{repo} = $dest;  
                                 $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};  
                                 $orig{$cmp->{nvra}}++;  
                             } else {  
                                 $cmp->{delete}++;  
276                              }                              }
277                          } else {                          } else {
278                              $cmp->{delete}++;                              $cmp->{delete}++;
# Line 412  foreach my $ver ( sort { $a <=> $b } key Line 401  foreach my $ver ( sort { $a <=> $b } key
401              chomp $dir;              chomp $dir;
402              print "rebuild $repo/$arch\n";              print "rebuild $repo/$arch\n";
403              unless ( $opts{t} ) {              unless ( $opts{t} ) {
404                  if ( -f "$dir/repodata/comps.xml" ) {                  if ( $dir =~ m{test/|-testing/} ) {
405                      qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);                      if ( -f "$dir/repodata/comps.xml" ) {
406                  } else {                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
407                      qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);                      } else {
408                  }                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
409                        }
410                    } else {
411                        if ( -f "$dir/repodata/comps.xml" ) {
412                            qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
413                        } else {
414                            qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
415                        }
416                    }
417                  qx(repoview $dir);                  qx(repoview $dir);
418                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";
419                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";
# Line 424  foreach my $ver ( sort { $a <=> $b } key Line 421  foreach my $ver ( sort { $a <=> $b } key
421          }          }
422      }      }
423      unless ( $opts{t} ) {      unless ( $opts{t} ) {
424          finddepth(sub{rmdir}, $distrepo->{$ver}->{$_}) foreach ('builds','contribs');          finddepth(sub{rmdir}, $distrepo->{$ver}->{builds}) if -d "$distrepo->{$ver}->{builds}";
425            finddepth(sub{rmdir}, $distrepo->{$ver}->{community}) if -d "$distrepo->{$ver}->{community}";
426      }      }
427  }  }
428    

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
admin@koozali.org
 ViewVC Help
Powered by ViewVC 1.2.1 RSS 2.0 feed