/[smeserver]/builds_bin/update_repos
ViewVC logotype

Diff of /builds_bin/update_repos

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

Revision 1.59 by slords, Sun Aug 15 16:27:13 2010 UTC Revision 1.60 by slords, Sun Nov 21 22:10:40 2010 UTC
# Line 76  my $baserepo = { "~S${repotag}os/~A/$osd Line 76  my $baserepo = { "~S${repotag}os/~A/$osd
76                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',
77                   '/mirrors/fedora/epel/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/~C/~A/' => 'epel',
78                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',
79                   '/mirrors/rpmforge/dag/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',                   '/mirrors/rpmforge/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',
80                   '/mirrors/rpmforge/dag/source/' => 'rpmforge',                   '/mirrors/rpmforge/redhat/el~C/en/~A/extras/RPMS/' => 'rpmforge',
81                     '/mirrors/rpmforge/source/' => 'rpmforge',
82                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',
83                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',
84                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',
# Line 92  if ( $opts{q} ) { Line 93  if ( $opts{q} ) {
93  }  }
94    
95  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
96                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv', 'proftpd' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv' ) },
97                           'rpmforge'      => { map { $_ => 1 } ( 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
98                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },
99                         },                         },
100                  '8' => { 'atrpms'        => { map { $_ => 1 } ( 'gnupg' ) },                  '8' => { 'atrpms'        => { map { $_ => 1 } ( 'gnupg' ) },
101                           'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },                           'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
102                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'libtalloc', 'libtdb', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'proftpd', 'smolt' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'libtalloc', 'libtdb', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'smolt' ) },
103                           'rpmforge'      => { map { $_ => 1 } ( 'libtalloc', 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'libtalloc', 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
104                         },                         },
105                };                };
# Line 152  foreach my $ver ( sort { $a <=> $b } key Line 153  foreach my $ver ( sort { $a <=> $b } key
153              next if $pkg->{done};              next if $pkg->{done};
154    
155              my $tmp = $pkg->{svr};              my $tmp = $pkg->{svr};
156                # srpm transformations to match up binary and source rpms
157              SRC: {              SRC: {
158                  $rpms->{$base}->{vers}->{$tmp} && last SRC;                  # Try to find the name the binary wants (no changes)
159                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  $rpms->{$base}->{vers}->{$tmp}                       && last SRC;
160                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;  
161                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  # rpmforge (.el4.rf to .rf, with rf,rfb,rft,rfx endings)
162                  ($tmp = $pkg->{svr}) =~ s{(\.el\d)\.rf$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf[btx]?)$}{$1}   && $rpms->{$base}->{vers}->{$tmp} && last SRC;
163                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  # rpmforge (.el4.rfx to .rf, with rfb,rft,rfx switched to rf) TODO: broken, changing svr?
164                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d(\.rf)$}{$1$2} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)[btx]$}{$1}    && $rpms->{$base}->{vers}->{$tmp} && last SRC;
165                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+(\.rf)$}{$1$2}       && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  # rpmforge (.el4.rf to .el5) TODO: remove when no longer needed
166                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}         && $rpms->{$base}->{vers}->{$tmp} && last SRC;
167                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  # rpmforge (.2.el4.rf to .rf, minor modification not pushed to source?) TODO: remove when no longer needed
168                  ($tmp = $pkg->{svr}) =~ s{\.el\d$}{}                     && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.2\.el\d(\.rf)$}{$1}      && $rpms->{$base}->{vers}->{$tmp} && last SRC;
169                  ($tmp = $pkg->{svr}) =~ s{\.el\d_}{_}                    && $rpms->{$base}->{vers}->{$tmp} && last SRC;  
170                  ($tmp = $pkg->{svr}) =~ s{(-\d+)\.\d+\.el\d$}{$1}        && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  # atrpms (remove .el4.at)
171                  ($tmp = $pkg->{svr}) =~ s{\.centos\d$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
172                  ($tmp = $pkg->{svr}) =~ s{\.at$}{}                       && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  # atrpms (remove .el4)
173                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.$disttag$}{}           && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;
174                    # atrpms (remove .0.el5, minor modification not pushed to source?) TODO: remove when no longer needed
175                    ($tmp = $pkg->{svr}) =~ s{\.0\.el\d$}{}              && $rpms->{$base}->{vers}->{$tmp} && last SRC;
176    
177                    # Transformations that we hopefully won't have to use anymore TODO: remove if no issues
178                    #($tmp = $pkg->{svr}) =~ s{(\.el\d)\.rf$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
179                    #($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+(\.rf)$}{$1$2}       && $rpms->{$base}->{vers}->{$tmp} && last SRC;
180                    #($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
181                    #($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;
182                    #($tmp = $pkg->{svr}) =~ s{\.el\d_}{_}                    && $rpms->{$base}->{vers}->{$tmp} && last SRC;
183                    #($tmp = $pkg->{svr}) =~ s{(-\d+)\.\d+\.el\d$}{$1}        && $rpms->{$base}->{vers}->{$tmp} && last SRC;
184                    #($tmp = $pkg->{svr}) =~ s{\.centos\d$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;
185                    #($tmp = $pkg->{svr}) =~ s{\.at$}{}                       && $rpms->{$base}->{vers}->{$tmp} && last SRC;
186                    #($tmp = $pkg->{svr}) =~ s{\.el\d\.$disttag$}{            && $rpms->{$base}->{vers}->{$tmp} && last SRC;
187              }              }
188              if ( $rpms->{$base}->{vers}->{$tmp} ) {              if ( $rpms->{$base}->{vers}->{$tmp} ) {
189                  foreach $tmp ( @{$rpms->{$base}->{vers}->{$tmp}} ) {                  foreach $tmp ( @{$rpms->{$base}->{vers}->{$tmp}} ) {
# Line 203  foreach my $ver ( sort { $a <=> $b } key Line 218  foreach my $ver ( sort { $a <=> $b } key
218                              if ($repos->{$cmp->{repo}}->{stage} ) {                              if ($repos->{$cmp->{repo}}->{stage} ) {
219                                  if ( $seen{$cmp->{nvra}}->{latest} ) {                                  if ( $seen{$cmp->{nvra}}->{latest} ) {
220                                      $seen{$cmp->{nvra}}->{latest}++;                                      $seen{$cmp->{nvra}}->{latest}++;
221                                        delete $cmp->{delete} if $cmp->{delete};
222                                  } else {                                  } else {
223                                      $cmp->{delete}++;                                      $cmp->{delete}++;
224                                  }                                  }
# Line 212  foreach my $ver ( sort { $a <=> $b } key Line 228  foreach my $ver ( sort { $a <=> $b } key
228                                      my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};                                      my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};
229                                      qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";                                      qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";
230                                  }                                  }
231                              } elsif ( $cmp->{src} && $reposrc{$cmp->{repo}} ) {                              } else {
232                                  $reposrc{$cmp->{repo}}->{srpm} = $cmp;                                  if ( $cmp->{src} && $cmp->{delete} && $cmp->{oldrepo} && $reposrc{$cmp->{oldrepo}}) {
233                              } elsif ( $seen{$cmp->{nvra}}->{repo} ne $cmp->{repo} ) {                                      $cmp->{repo} = $cmp->{oldrepo};
234                                  $cmp->{delete}++;                                      delete $cmp->{delete};
235                                    }
236                                    if ( $cmp->{src} && $reposrc{$cmp->{repo}} ) {
237                                        $reposrc{$cmp->{repo}}->{srpm} = $cmp;
238                                        $srpm = $cmp if ! $srpm;
239                                    } elsif ( $seen{$cmp->{nvra}}->{repo} ne $cmp->{repo} ) {
240                                        $cmp->{delete}++;
241                                    }
242                              }                              }
243                          }                          }
244                      } elsif ($repos->{$cmp->{repo}}->{stage} ) {                      } elsif ($repos->{$cmp->{repo}}->{stage} ) {
# Line 265  foreach my $ver ( sort { $a <=> $b } key Line 288  foreach my $ver ( sort { $a <=> $b } key
288                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});
289                              $dest = $devel1 if verrel($cmp, $dest, \%counts);                              $dest = $devel1 if verrel($cmp, $dest, \%counts);
290                              unless ( $cmp->{src} && ! $reposrc{$dest} ) {                              unless ( $cmp->{src} && ! $reposrc{$dest} ) {
291                                  if ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {                                  if ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {
292                                      unless ( $repos->{$cmp->{repo}}->{base} ) {                                      unless ( $repos->{$cmp->{repo}}->{base} ) {
293                                          my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};                                          my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};
294                                          qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";                                          qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";
295                                      }                                      }
296                                      push @{$cmp->{repos}}, $dest;                                      push @{$cmp->{repos}}, $dest;
297                                      $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};                                      $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};
298                                      $cmp->{repo} = $dest;                                      $cmp->{repo} = $dest;
299                                      $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};                                      $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};
300                                      $orig{$cmp->{nvra}}++;                                      $orig{$cmp->{nvra}}++;
301                                  }                                  }
302                              }                              }
303                          } else {                          } else {
# Line 286  foreach my $ver ( sort { $a <=> $b } key Line 309  foreach my $ver ( sort { $a <=> $b } key
309                      $pkgs{$cmp->{nvra}}++;                      $pkgs{$cmp->{nvra}}++;
310                      $latest{$cmp->{base}} = $cmp->{svr} if $repos->{$cmp->{repo}}->{inc} && ! $latest{$cmp->{base}};                      $latest{$cmp->{base}} = $cmp->{svr} if $repos->{$cmp->{repo}}->{inc} && ! $latest{$cmp->{base}};
311                      $reposrc{$cmp->{repo}} = $cmp unless $reposrc{$cmp->{repo}} || $cmp->{src} || $repos->{$cmp->{repo}}->{stage};                      $reposrc{$cmp->{repo}} = $cmp unless $reposrc{$cmp->{repo}} || $cmp->{src} || $repos->{$cmp->{repo}}->{stage};
312                      unless ( $seen{$cmp->{nvra}} ) {                      if ( $latest{$cmp->{base}} && $cmp->{svr} eq $latest{$cmp->{base}} && $repos->{$cmp->{repo}}->{inc} ) {
313                          $seen{$cmp->{nvra}} = $cmp;                          $cmp->{latest}++ if ! $seen{$cmp->{nvra}} || $cmp->{src};
                         $cmp->{latest}++ if $latest{$cmp->{base}} && $cmp->{svr} eq $latest{$cmp->{base}} && $repos->{$cmp->{repo}}->{inc};  
314                      }                      }
315                        $seen{$cmp->{nvra}} = $cmp unless $seen{$cmp->{nvra}};
316                      push @{$acnt->{$cmp->{repo}}->{$cmp->{rpm}->as_nvre}->{$cmp->{src} ? 'src' : $cmp->{rpm}->arch}}, $cmp;                      push @{$acnt->{$cmp->{repo}}->{$cmp->{rpm}->as_nvre}->{$cmp->{src} ? 'src' : $cmp->{rpm}->arch}}, $cmp;
317                  }                  }
318                  $cmp->{done}++;                  $cmp->{done}++;
# Line 419  foreach my $ver ( sort { $a <=> $b } key Line 442  foreach my $ver ( sort { $a <=> $b } key
442              chomp $dir;              chomp $dir;
443              print "rebuild $repo/$arch\n";              print "rebuild $repo/$arch\n";
444              unless ( $opts{t} ) {              unless ( $opts{t} ) {
445                  if ( $dir =~ m{test/|-testing/} ) {                  if ( $dir =~ m{test/|-testing/} ) {
446                      if ( -f "$dir/repodata/comps.xml" ) {                      if ( -f "$dir/repodata/comps.xml" ) {
447                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
448                      } else {                      } else {
449                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
450                      }                      }
451                  } else {                  } else {
452                      if ( -f "$dir/repodata/comps.xml" ) {                      if ( -f "$dir/repodata/comps.xml" ) {
453                          qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);                          qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
454                      } else {                      } else {
455                          qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);                          qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
456                      }                      }
457                  }                  }
458                  qx(repoview $dir);                  qx(repoview $dir);
459                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";
460                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";
461                    qx(rm -rf $dir/repodata/index.html) if -f "$dir/repodata/index.html";
462                    qx(rm -rf $dir/repodata/update-info) if -d "$dir/repodata/update-info";
463                    qx(rm -rf $dir/repodata/repoview) if -d "$dir/repodata/repoview";
464              }              }
465          }          }
466      }      }

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
admin@koozali.org
 ViewVC Help
Powered by ViewVC 1.2.1 RSS 2.0 feed