/[smeserver]/builds_bin/update_repos
ViewVC logotype

Diff of /builds_bin/update_repos

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

Revision 1.52 by slords, Tue Dec 1 16:17:48 2009 UTC Revision 1.59 by slords, Sun Aug 15 16:27:13 2010 UTC
# Line 26  my $repotag = 'sme'; Line 26  my $repotag = 'sme';
26    
27  my @archs = ( 'i386', 'x86_64' );  my @archs = ( 'i386', 'x86_64' );
28    
29  my $distrepo = { '7' => { active   => 1,  my $distrepo = { '7' => { active    => 1,
30                            centos   => 4,                            centos    => 4,
31                            fedora   => 3,                            repo      => '/releases/7/',
32                            repo     => '/releases/7/',                            os        => 'RPMS/',
33                            os       => 'RPMS/',                            builds    => '/builds/smeserver-7-core/',
34                            builds   => '/builds/smeserver-7-core/',                            community => '/builds/smeserver-7-contribs/',
35                            contribs => '/builds/smeserver-7-contribs/',                            stage     => '/stage/7/',
                           stage    => '/stage/7/',  
36                          },                          },
37                   '8' => { active   => 1,                   '8' => { active    => 1,
38                            centos   => 5,                            centos    => 5,
39                            fedora   => 6,                            repo      => '/releases/testing/8/',
40                            repo     => '/releases/testing/8/',                            os        => '',
41                            os       => '',                            builds    => '/builds/smeserver-8-core/',
42                            builds   => '/builds/smeserver-8-core/',                            community => '/builds/smeserver-8-contribs/',
43                            contribs => '/builds/smeserver-8-contribs/',                            stage     => '/stage/8/',
                           stage    => '/stage/8/',  
44                          },                          },
45                 };                 };
46    
# Line 56  my $repos = { "${repotag}os" Line 54  my $repos = { "${repotag}os"
54                "${repotag}dev"             => { prio => 11, inc => 0, ver => 1, rel => 1, devel => 1 },                "${repotag}dev"             => { prio => 11, inc => 0, ver => 1, rel => 1, devel => 1 },
55                'centos'                    => { prio => 10, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'centos'                    => { prio => 10, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
56                'epel'                      => { prio =>  9, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'epel'                      => { prio =>  9, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
               'fedora-extras'             => { prio =>  8, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },  
57                'rpmforge'                  => { prio =>  7, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'rpmforge'                  => { prio =>  7, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
58                'atrpms'                    => { prio =>  6, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },                'atrpms'                    => { prio =>  6, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },
               'fedora'                    => { prio =>  5, inc => 0, ver => 0, rel => 0, orig => 1, base => 1 },  
59                'builds'                    => { prio =>  4, inc => 0, ver => 0, rel => 0, orig => 1 },                'builds'                    => { prio =>  4, inc => 0, ver => 0, rel => 0, orig => 1 },
60                'contribs'                  => { prio =>  2, inc => 0, ver => 0, rel => 0, orig => 1 },                'community'                 => { prio =>  2, inc => 0, ver => 0, rel => 0, orig => 1 },
61                'stage'                     => { prio =>  1, inc => 0, ver => 0, rel => 0, stage => 1, os => 1 },                'stage'                     => { prio =>  1, inc => 0, ver => 0, rel => 0, stage => 1, os => 1 },
62              };              };
63    
# Line 80  my $baserepo = { "~S${repotag}os/~A/$osd Line 76  my $baserepo = { "~S${repotag}os/~A/$osd
76                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',                   '/mirrors/centos/~C/extras/~A/RPMS/' => 'centos',
77                   '/mirrors/fedora/epel/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/~C/~A/' => 'epel',
78                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',                   '/mirrors/fedora/epel/testing/~C/~A/' => 'epel',
                  '/mirrors/fedora/extras/~F/~A/' => 'fedora-extras',  
79                   '/mirrors/rpmforge/dag/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',                   '/mirrors/rpmforge/dag/redhat/el~C/en/~A/dag/RPMS/' => 'rpmforge',
80                   '/mirrors/rpmforge/dag/source/' => 'rpmforge',                   '/mirrors/rpmforge/dag/source/' => 'rpmforge',
81                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/stable/' => 'atrpms',
82                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',                   '/mirrors/atrpms/el~C-~A/atrpms/testing/' => 'atrpms',
83                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',                   '/mirrors/atrpms/src/el~C-~A/atrpms/stable/' => 'atrpms',
84                   '/mirrors/atrpms/src/el~C-~A/atrpms/testing/' => 'atrpms',                   '/mirrors/atrpms/src/el~C-~A/atrpms/testing/' => 'atrpms',
                  '/mirrors/fedora/core/~F/~A/os/Fedora/RPMS/' => 'fedora',  
                  '/mirrors/fedora/core/updates/~F/~A/' => 'fedora',  
85                 };                 };
86    
87  if ( $opts{q} ) {  if ( $opts{q} ) {
# Line 100  if ( $opts{q} ) { Line 93  if ( $opts{q} ) {
93    
94  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },  my $skippkg = { '7' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
95                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv', 'proftpd' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'fping', 'ocsinventory', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-DateTime', 'perl-Razor-Agent', 'perl-Text-Iconv', 'proftpd' ) },
96                           'fedora-extras' => { map { $_ => 1 } ( 'ddclient', 'hddtemp', 'pam_abl', 'perl-Compress-Bzip2', 'perl-Error', 'perl-HTML-Format', 'perl-MIME-Types', 'perl-Net-IP', 'perl-Archive-Zip', 'perl-Class-Singleton', 'perl-Razor-Agent', 'perl-Test-Inline', 'perl-Text-Autoformat', 'perl-Text-Iconv', 'perl-Text-Reform', 'perl-XML-RSS' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
                          'rpmforge'      => { map { $_ => 1 } ( 'perl-Test-Inline' ) },  
97                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },                           'atrpms'        => { map { $_ => 1 } ( 'check4updates', 'dovecot', 'trac', 'yum' ) },
98                         },                         },
99                  '8' => { 'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },                  '8' => { 'atrpms'        => { map { $_ => 1 } ( 'gnupg' ) },
100                           'fedora'        => { map { $_ => 1 } ( 'kernel', 'kernel-xen' ) },                           'centos'        => { map { $_ => 1 } ( 'horde', 'imp-h3', 'ingo-h3', 'turba-h3' ) },
101                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'proftpd', 'smolt' ) },                           'epel'          => { map { $_ => 1 } ( 'clamav', 'horde', 'libtalloc', 'libtdb', 'perl-Compress-Bzip2', 'perl-Compress-Raw-Zlib', 'perl-Compress-Raw-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Razor-Agent', 'proftpd', 'smolt' ) },
102                           'fedora-extras' => { map { $_ => 1 } ( 'dstat', 'gocr', 'horde', 'oidentd', 'perl-Compress-Bzip2', 'perl-Crypt-OpenSSL-Bignum', 'perl-Crypt-OpenSSL-Random', 'perl-Crypt-OpenSSL-RSA', 'perl-Test-Inline', 'perl-Razor-Agent', 'smolt' ) },                           'rpmforge'      => { map { $_ => 1 } ( 'libtalloc', 'mod_auth_tkt', 'perl-Test-Inline', 'spamassassin' ) },
                          'rpmforge'      => { map { $_ => 1 } ( 'perl-Test-Inline' ) },  
103                         },                         },
104                };                };
105    
# Line 131  foreach my $ver ( sort { $a <=> $b } key Line 122  foreach my $ver ( sort { $a <=> $b } key
122          $bdir =~ s/~S/$distrepo->{$ver}->{repo}/;          $bdir =~ s/~S/$distrepo->{$ver}->{repo}/;
123          $bdir =~ s/~s/$ver/;          $bdir =~ s/~s/$ver/;
124          $bdir =~ s/~C/$distrepo->{$ver}->{centos}/;          $bdir =~ s/~C/$distrepo->{$ver}->{centos}/;
         $bdir =~ s/~F/$distrepo->{$ver}->{fedora}/;  
125          for my $arch ( @archs, 'SRPMS/' ) {          for my $arch ( @archs, 'SRPMS/' ) {
126              my $adir = $bdir;              my $adir = $bdir;
127              if ( $arch eq 'SRPMS/' ) {              if ( $arch eq 'SRPMS/' ) {
128                  $adir =~ s/~A.*/$arch/ if $arch eq 'SRPMS/';                  $adir =~ s/~A.*/$arch/;
129              } else {              } else {
130                  $adir =~ s/~A/$arch/;                  $adir =~ s/~A/$arch/;
131              }              }
# Line 147  foreach my $ver ( sort { $a <=> $b } key Line 137  foreach my $ver ( sort { $a <=> $b } key
137          }          }
138      }      }
139      find( { wanted => sub { process_rpm($_, $ver, 'builds'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'builds'} );      find( { wanted => sub { process_rpm($_, $ver, 'builds'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'builds'} );
140      find( { wanted => sub { process_rpm($_, $ver, 'contribs'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'contribs'} );      find( { wanted => sub { process_rpm($_, $ver, 'community'); }, no_chdir => 1, follow_fast => 1 }, $distrepo->{$ver}->{'community'} ) if $distrepo->{$ver}->{'community'};
141    
142      foreach my $base ( sort keys %$rpms ) {      foreach my $base ( sort keys %$rpms ) {
143          next unless $rpms->{$base}->{rpms};          next unless $rpms->{$base}->{rpms};
# Line 167  foreach my $ver ( sort { $a <=> $b } key Line 157  foreach my $ver ( sort { $a <=> $b } key
157                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;
158                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.at$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;
159                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d(\.rf)$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
160                    ($tmp = $pkg->{svr}) =~ s{(\.el\d)\.rf$}{$1}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
161                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.el5}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
162                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d(\.rf)$}{$1$2} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d(\.rf)$}{$1$2} && $rpms->{$base}->{vers}->{$tmp} && last SRC;
163                    ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+(\.rf)$}{$1$2}       && $rpms->{$base}->{vers}->{$tmp} && last SRC;
164                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.rf$}{.dag}             && $rpms->{$base}->{vers}->{$tmp} && last SRC;
165                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{(\d+)\.\d+\.el\d\.rf$}{$1.dag} && $rpms->{$base}->{vers}->{$tmp} && last SRC;
166                  ($tmp = $pkg->{svr}) =~ s{\.el\d$}{}                     && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.el\d$}{}                     && $rpms->{$base}->{vers}->{$tmp} && last SRC;
167                    ($tmp = $pkg->{svr}) =~ s{\.el\d_}{_}                    && $rpms->{$base}->{vers}->{$tmp} && last SRC;
168                  ($tmp = $pkg->{svr}) =~ s{(-\d+)\.\d+\.el\d$}{$1}        && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{(-\d+)\.\d+\.el\d$}{$1}        && $rpms->{$base}->{vers}->{$tmp} && last SRC;
169                  ($tmp = $pkg->{svr}) =~ s{\.centos\d$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.centos\d$}{}                 && $rpms->{$base}->{vers}->{$tmp} && last SRC;
170                  ($tmp = $pkg->{svr}) =~ s{\.el\d\.$disttag$}{}                && $rpms->{$base}->{vers}->{$tmp} && last SRC;                  ($tmp = $pkg->{svr}) =~ s{\.at$}{}                       && $rpms->{$base}->{vers}->{$tmp} && last SRC;
171                    ($tmp = $pkg->{svr}) =~ s{\.el\d\.$disttag$}{}           && $rpms->{$base}->{vers}->{$tmp} && last SRC;
172              }              }
173              if ( $rpms->{$base}->{vers}->{$tmp} ) {              if ( $rpms->{$base}->{vers}->{$tmp} ) {
174                  foreach $tmp ( @{$rpms->{$base}->{vers}->{$tmp}} ) {                  foreach $tmp ( @{$rpms->{$base}->{vers}->{$tmp}} ) {
# Line 270  foreach my $ver ( sort { $a <=> $b } key Line 264  foreach my $ver ( sort { $a <=> $b } key
264                              my $dest = $repos->{$track{repo}}->{prio} > $repos->{$devel2}->{prio} ? $track{repo} : $devel2;                              my $dest = $repos->{$track{repo}}->{prio} > $repos->{$devel2}->{prio} ? $track{repo} : $devel2;
265                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});                              $dest = pkgdest($cmp, $devel1, $dest, $rpms->{$base}->{rpms});
266                              $dest = $devel1 if verrel($cmp, $dest, \%counts);                              $dest = $devel1 if verrel($cmp, $dest, \%counts);
267                              if ( $cmp->{src} && ! $reposrc{$dest} ) {                              unless ( $cmp->{src} && ! $reposrc{$dest} ) {
268                                  $cmp->{delete}++;                                  if ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {
269                              } elsif ( $repos->{$dest}->{prio} >= $repos->{$track{repo}}->{prio} && ! verrel($cmp, $dest, \%counts) ) {                                      unless ( $repos->{$cmp->{repo}}->{base} ) {
270                                  unless ( $repos->{$cmp->{repo}}->{base} ) {                                          my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};
271                                      my $tag = sprintf '%s%s/%s-%s', $distrepo->{$ver}->{$cmp->{repo}}, $cmp->{name}, $cmp->{ver}, $cmp->{rel};                                          qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";
272                                      qx(touch $tag/PUSHED) if ! $opts{t} && -d $tag && ! -f "$tag/PUSHED";                                      }
273                                        push @{$cmp->{repos}}, $dest;
274                                        $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};
275                                        $cmp->{repo} = $dest;
276                                        $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};
277                                        $orig{$cmp->{nvra}}++;
278                                  }                                  }
                                 push @{$cmp->{repos}}, $dest;  
                                 $cmp->{oldrepo} = $cmp->{repo} unless $cmp->{oldrepo};  
                                 $cmp->{repo} = $dest;  
                                 $reposrc{$cmp->{repo}}->{srpm} = $cmp if $cmp->{src};  
                                 $orig{$cmp->{nvra}}++;  
                             } else {  
                                 $cmp->{delete}++;  
279                              }                              }
280                          } else {                          } else {
281                              $cmp->{delete}++;                              $cmp->{delete}++;
# Line 399  foreach my $ver ( sort { $a <=> $b } key Line 391  foreach my $ver ( sort { $a <=> $b } key
391                  }                  }
392              }              }
393          }          }
394    
395            if ( $rpms->{$base}->{srpms} ) {
396                foreach my $pkg ( sort { $b->{rpm} cmp $a->{rpm} } @{$rpms->{$base}->{srpms}} ) {
397                    next if $pkg->{done} || $repos->{$pkg->{repo}}->{orig} || $repos->{$pkg->{repo}}->{base};
398                    $pkg->{delete}++;
399                    my $src = $pkg->{rpm}->filename;
400                    if ( ! $print && ($pkg->{delete} || $pkg->{repos} || $pkg->{nosig} ) ) {
401                        print "\n$base ($disttag$ver)\n", "=" x length("$base ($disttag$ver)"), "\n";
402                        $print++;
403                    }
404                    print "delete from ", $pkg->{repo}, " (", $pkg->{arch}, ", ", basename($pkg->{rpm}->filename), ")\n";
405                    qx(rm -f $src) unless $opts{t};
406                    $repochg{$pkg->{repo}}++ unless $repos->{$pkg->{repo}}->{base} || $repos->{$pkg->{repo}}->{stage};
407                }
408            }
409      }      }
410    
411      if ( %repochg ) {      if ( %repochg ) {
# Line 412  foreach my $ver ( sort { $a <=> $b } key Line 419  foreach my $ver ( sort { $a <=> $b } key
419              chomp $dir;              chomp $dir;
420              print "rebuild $repo/$arch\n";              print "rebuild $repo/$arch\n";
421              unless ( $opts{t} ) {              unless ( $opts{t} ) {
422                  if ( -f "$dir/repodata/comps.xml" ) {                  if ( $dir =~ m{test/|-testing/} ) {
423                      qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);                      if ( -f "$dir/repodata/comps.xml" ) {
424                  } else {                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
425                      qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);                      } else {
426                  }                          qx(createrepo --update --database --exclude *smeserver-release*.rpm --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
427                        }
428                    } else {
429                        if ( -f "$dir/repodata/comps.xml" ) {
430                            qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm --groupfile repodata/comps.xml $dir);
431                        } else {
432                            qx(createrepo --update --database --exclude *.src.rpm --exclude *-debuginfo-*.rpm $dir);
433                        }
434                    }
435                  qx(repoview $dir);                  qx(repoview $dir);
436                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";                  qx(rm -rf $dir/.olddata) if -d "$dir/.olddata";
437                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";                  qx(rm -rf $dir/.repodata) if -d "$dir/.repodata";
# Line 424  foreach my $ver ( sort { $a <=> $b } key Line 439  foreach my $ver ( sort { $a <=> $b } key
439          }          }
440      }      }
441      unless ( $opts{t} ) {      unless ( $opts{t} ) {
442          finddepth(sub{rmdir}, $distrepo->{$ver}->{$_}) foreach ('builds','contribs');          finddepth(sub{rmdir}, $distrepo->{$ver}->{builds}) if -d "$distrepo->{$ver}->{builds}";
443            finddepth(sub{rmdir}, $distrepo->{$ver}->{community}) if -d "$distrepo->{$ver}->{community}";
444      }      }
445  }  }
446    

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
admin@koozali.org
 ViewVC Help
Powered by ViewVC 1.2.1 RSS 2.0 feed