/[smeserver]/builds_bin/update_repos

Diff of /builds_bin/update_repos

Parent Directory | Revision Log | View Revision Graph Revision Graph | View Patch Patch

-Revision 1.1 by slords,
Sat Apr 14 21:25:26 2007 UTC
+Revision 1.19 by slords,
Tue Oct 16 21:36:23 2007 UTC
 Line 9 
 sub compare($$);
  my $releases = 2;
- my $rpm_flags =  RPM2->vsf_nodsa;
+ my $releasedir = '/releases';
- my $repodir = '/releases/7';
+ my $smerel = '7';
+ my $centosrel = '4';
+ my $fedorarel = '3';
+ my $builds = '/builds/rpms';
  my $stagedir = '/builds';
- my @repos = qw(
+ my $arch = `uname -i`;
-                 /releases/7/smeos/i386/CentOS/RPMS
+ chomp $arch;
-                 /releases/7/smeupdates/i386/RPMS
+ #$arch = 'x86_64';
-                 /releases/7/smeupdates-testing/i386/RPMS
-                 /releases/7/smeextras/i386/RPMS
+ my @repos = (
-                 /releases/7/smeaddons/i386/RPMS
+               "$releasedir/$smerel/smeos/$arch/SME",
-                 /releases/7/smetest/i386/RPMS
+               "$releasedir/$smerel/smeos/$arch/SME/RPMS",
-                 /releases/7/smedev/i386/RPMS
+               "$releasedir/$smerel/smeos/$arch/CentOS/RPMS",
-                 /builds/rpms/RPMS/i386
+               "$releasedir/$smerel/smeupdates/$arch/RPMS",
-                 /builds/rpms/RPMS/i586
+               "$releasedir/$smerel/smeupdates-testing/$arch/RPMS",
-                 /builds/rpms/RPMS/i686
+               "$releasedir/$smerel/smeextras/$arch/RPMS",
-                 /builds/rpms/RPMS/noarch
+               "$releasedir/$smerel/smeaddons/$arch/RPMS",
-                 /builds/RPMS
+               "$releasedir/$smerel/smecontribs/$arch/RPMS",
-                 );
+               "$releasedir/$smerel/smetest/$arch/RPMS",
- my $devrepo = (grep { m{/sme} } reverse @repos)[0];
+               "$releasedir/$smerel/smedev/$arch/RPMS",
+               "$builds/RPMS/$arch",
- my @srcrepos = qw(
+               "$builds/RPMS/i586",
-                 /mirrors/centos/4/fasttrack/SRPMS
+               "$builds/RPMS/i686",
-                 /mirrors/centos/4/updates/SRPMS
+               "$builds/RPMS/noarch",
-                 /mirrors/centos/4/os/SRPMS
+               "$stagedir/RPMS-$arch",
-                 /mirrors/centos/4/extras/SRPMS
+             );
-                 /mirrors/rpmforge/dag/source
+ @repos = grep { ! m{/i[56]86$} } @repos if $arch eq 'x86_64';
-                 /mirrors/atrpms/src/el4-i386/atrpms/stable
-                 /builds/rpms/SRPMS
+ my @srcrepos = (
-                 );
+                  "/mirrors/centos/$centosrel/fasttrack/SRPMS",
+                  "/mirrors/centos/$centosrel/updates/SRPMS",
+                  "/mirrors/centos/$centosrel/os/SRPMS",
+                  "/mirrors/centos/$centosrel/extras/SRPMS",
+                  "/mirrors/rpmforge/dag/source",
+                  "/mirrors/atrpms/src/el$centosrel-$arch/atrpms/stable",
+                  "/mirrors/atrpms/src/el$centosrel-$arch/atrpms/testing",
+                  "/mirrors/fedora/epel/$centosrel/SRPMS",
+                  "/mirrors/fedora/epel/testing/$centosrel/SRPMS",
+                  "/mirrors/fedora/core/updates/$fedorarel/SRPMS",
+                  "/mirrors/fedora/core/$fedorarel/source/SRPMS",
+                  "/mirrors/fedora/extras/$fedorarel/SRPMS",
+                  "$builds/SRPMS",
+               );
- my %repohash;
+ my $rpm_flags = RPM2->vsf_nodsaheader | RPM2->vsf_nodsa;
- my %srcrepohash;
+ my @rpms;
+ my %srpms;
+ my %sources;
  my %changed;
  my %copy;
- my @remove;
- %{$srcrepohash{$stagedir}} = map { $_ => 0 } grep { /\.rpm$/ } readdir SRPMS if ( opendir SRPMS, "$stagedir/SRPMS" );
+ print "\nReading repos...\n";
- closedir SRPMS;
- print "\n";
  foreach my $repo ( @repos ) {
-         if ( $repo =~ m{^(.*/[0-9]+/sme[^/]*)/} ) {
+         my $r = $repo;
-                 my $srcrepo = $1;
+         if ( $repo =~ m{$stagedir/RPMS} ) {
+                 $r = $stagedir;
+         } elsif ( $repo =~ m{$builds/RPMS} ) {
+                 $r = 'builds';
+         } elsif ( $repo =~ m{^($releasedir/$smerel/sme[^/]*)/} ) {
+                 $r = $1;
+         }
-                 %{$srcrepohash{$srcrepo}} = map { $_ => 0 } grep { /\.rpm$/ } readdir SRPMS if ( opendir SRPMS, "$srcrepo/SRPMS" );
+         if ( $r eq $stagedir ) {
+                 opendir SRPMS, "$r/SRPMS-$arch" or next;
+                 foreach my $srpm ( grep { /\.rpm$/ } readdir SRPMS ) {
+                         $srpms{$r}{$srpm} = 0;
+                         $sources{$srpm} = "$r/SRPMS-$arch";
+                 }
+                 closedir SRPMS;
+         } elsif ( $r ne 'builds' ) {
+                 opendir SRPMS, "$r/SRPMS" or next;
+                 foreach my $srpm ( grep { /\.rpm$/ } readdir SRPMS ) {
+                         $srpms{$r}{$srpm} = 0;
+                         $sources{$srpm} = "$r/SRPMS";
+                 }
                  closedir SRPMS;
          }
-         opendir RPMS, $repo;
+         opendir RPMS, $repo or next;
-         foreach my $rpm ( grep { m{\.rpm} } readdir RPMS ) {
+         print " - $repo\n";
-                 my $header = RPM2->open_package("$repo/$rpm", $rpm_flags);
+         foreach my $pkg ( reverse sort map { RPM2->open_package("$repo/$_", $rpm_flags); } grep { /\.rpm$/ } readdir RPMS ) {
-                 my $pkg = $header->tag("NAME").".".$header->tag("ARCH");
+                 my $rpm = { name => $pkg->tag("NAME"),
-                 if ( $repo =~ m{/builds/RPMS} ) {
+                                 filename => join("-", map { $pkg->tag($_) } qw/name version release/) . "." . $pkg->tag("ARCH"),
-                         push @{$repohash{$pkg}{$stagedir}}, $header;
+                                 version => $pkg->tag("VERSION"),
-                 } elsif ( $repo =~ m{/builds/} ) {
+                                 release => $pkg->tag("RELEASE"),
-                         push @{$repohash{$pkg}{builds}}, $header;
+                                 repo => $r,
-                 } elsif ( $repo =~ m{^(.*/[0-9]+/sme[^/]*)/} ) {
+                                 rpm => $pkg,
-                         my $pos = $1;
+                               };
-                         push @{$repohash{$pkg}{$pos}}, $header;
+                 my $source = $pkg->tag("SOURCERPM");
+                 $source =~ s#-$rpm->{version}-$rpm->{release}.*##;
+                 $rpm->{source} = $source;
+                 if ( $rpm->{repo} =~ m{^$releasedir/$smerel/} && $rpm->{repo} !~ m{/smedev$} ) {
+                         $rpm->{repo} = 'deleted' if grep { $_->{repo} ne $rpm->{repo} && $_->{name} eq $rpm->{name} && $_->{rpm} ge $rpm->{rpm} } @rpms;
+                         $rpm->{repo} = 'deleted' if grep { $_->{repo} eq $rpm->{repo} && $_->{name} eq $rpm->{name} && $_->{rpm} gt $rpm->{rpm} } @rpms;
+                         $changed{$r}++ if $rpm->{repo} eq 'deleted';
                  }
+                 push @rpms, $rpm;
          }
          closedir RPMS;
  }
- my %sources;
+ print "\nReading source repos...\n";
  foreach my $repo ( reverse @srcrepos ) {
          my %temp_repo = map { $_ => $repo } grep { /\.rpm$/ } readdir SRPMS if ( opendir SRPMS, $repo );
          closedir SRPMS;
          %sources = (%sources, %temp_repo);
  }
- foreach my $pkg ( keys %repohash ) {
+ print "\nFinding latest packages...\n";
-         foreach my $repo ( @repos ) {
+ my @latest;
-                 if ( $repo =~ m{/builds/RPMS} ) {
+ foreach my $rpm ( reverse grep { $_->{repo} =~ m{^$releasedir/$smerel/} && $_->{repo} !~ m{/sme(addons|contribs|dev|extras)$} } @rpms )  {
-                         next unless $repohash{$pkg}{latest} || $repohash{$pkg}{$stagedir};
+         unless ( grep { $_->{name} eq $rpm->{name} && $_->{rpm} gt $rpm->{rpm} } @latest ) {
-                         my ($latest, @rest) = sort { $b cmp $a } @{$repohash{$pkg}{$stagedir}};
+                 push @latest, $rpm;
-                         delete $repohash{$pkg}{$stagedir};
+                 unless ( grep { $_->{repo} eq $stagedir && $_->{filename} eq $rpm->{filename} } @rpms ) {
-                         push @remove, map { $_->filename } @rest if @rest;
+                         push @{$copy{"$stagedir/RPMS-$arch"}}, $rpm->{rpm}->filename;
-                         if ( $repohash{$pkg}{latest} ) {
+                         push @rpms, { name => $rpm->{name},
-                                 if ($repohash{$pkg}{latest} ne $latest ) {
+                                       filename => $rpm->{filename},
-                                         push @remove, $latest->filename;
+                                       version => $rpm->{version},
-                                         push @{$copy{"$stagedir/RPMS"}}, $repohash{$pkg}{latest}->filename;
+                                       release => $rpm->{release},
-                                         $repohash{$pkg}{$stagedir} = $repohash{$pkg}{latest};
+                                       repo => $stagedir,
-                                 } else {
+                                       rpm => $rpm->{rpm},
-                                         $repohash{$pkg}{$stagedir} = $latest;
+                                       source => $rpm->{source}
-                                 }
+                                     };
+                 }
+         }
+ }
+ foreach my $rpm ( grep { $_->{repo} eq $stagedir } @rpms )  {
+         $rpm->{repo} = 'deleted' unless grep { $_->{filename} eq $rpm->{filename} } @latest;
+ }
+ foreach my $rpm ( reverse grep { $_->{repo} =~ m{^$releasedir/$smerel/} && $_->{repo} =~ m{/sme(addons|contribs|extras)$} } @rpms )  {
+         unless ( grep { $_->{name} eq $rpm->{name} && $_->{rpm} gt $rpm->{rpm} } @latest ) {
+                 push @latest, $rpm;
+         }
+ }
+ print "\nFinding development packages...\n";
+ my @devel;
+ my %versions;
+ foreach my $rpm ( grep { $_->{repo} eq 'builds' } @rpms )  {
+         next if grep { $_->{name} eq $rpm->{name} && $_->{rpm} ge $rpm->{rpm} } @latest;
+         $versions{$rpm->{name}}{$rpm->{version}}++ unless grep { $_->{name} eq $rpm->{name} && $_->{rpm} eq $rpm->{rpm} } @devel;
+         next if $versions{$rpm->{name}}{$rpm->{version}} > $releases || scalar keys %{$versions{$rpm->{name}}} > $releases;
+         print "Possible update " . $rpm->{rpm}->filename . "\n" if grep { $_->{name} eq $rpm->{name} } @latest;
+         push @devel, $rpm;
+         unless ( grep { $_->{repo} =~ m{/smedev$} && $_->{filename} eq $rpm->{filename} } @rpms ) {
+                 push @{$copy{"$releasedir/$smerel/smedev/$arch/RPMS"}}, $rpm->{rpm}->filename;
+                 $changed{"$releasedir/$smerel/smedev"}++;
+                 push @rpms, { name => $rpm->{name},
+                               filename => $rpm->{filename},
+                               version => $rpm->{version},
+                               release => $rpm->{release},
+                               repo => "$releasedir/$smerel/smedev",
+                               rpm => $rpm->{rpm},
+                               source => $rpm->{source}
+                             };
+         }
+ }
+ foreach my $rpm ( grep { $_->{repo} =~ m{/smedev$} } @rpms )  {
+         $rpm->{repo} = 'deleted' unless grep { $_->{filename} eq $rpm->{filename} } @devel;
+ }
+ print "\nFinding source packages...\n";
+ foreach my $rpm ( grep { $_->{repo} !~ m{^(builds|deleted)$} } @rpms ) {
+         my $src;
+         my $srpm = $rpm->{rpm}->tag("SOURCERPM");
+         my @sources = ();
+         push @sources, ($src = $srpm);
+         push @sources, $src if (($src = $srpm) =~ s/\.el\d\.rf\./\.rf\./);
+         push @sources, $src if (($src = $srpm) =~ s/\.[0-3]\.el\d+\.rf\./\.rf\./);
+         push @sources, $src if (($src = $srpm) =~ s/\.(el|fc)\d\.at//);
+         push @sources, $src if (($src = $srpm) =~ s/\.at//);
+         push @sources, $src if (($src = $srpm) =~ s/\.(el|fc)\d//);
+         push @sources, $src if (($src = $srpm) =~ s/\.\d+\.(el|fc)\d//);
+         my $found = 0;
+         my $repo = $rpm->{repo};
+         foreach my $source ( @sources ) {
+                 if ( $sources{$source} ) {
+                         if ($repo eq $stagedir) {
+                                 push @{$copy{"$repo/SRPMS-$arch"}}, "$sources{$source}/$source" unless -f "$repo/SRPMS-$arch/$source";
                          } else {
-                                 push @remove, $latest->filename;
+                                 unless ( -f "$repo/SRPMS/$source" ) {
-                         }
+                                         push @{$copy{"$repo/SRPMS"}}, "$sources{$source}/$source";
-                 } elsif ( $repo =~ m{^(.*/[0-9]+/sme[^/]*)/} ) {
+                                         $changed{$repo}++;
-                         my $pos = $1;
-                         next unless $repohash{$pkg}{$pos};
-                         if ( $pos =~ m{/smedev$} ) {
-                                 next unless $repohash{$pkg}{latest};
-                                 my @rest = grep { $_ le $repohash{$pkg}{latest} } @{$repohash{$pkg}{$pos}};
-                                 if ( @rest ) {
-                                         push @remove, map { $_->filename } @rest;
-                                         $changed{$pos}++;
-                                         @{$repohash{$pkg}{$pos}} = grep { $_ gt $repohash{$pkg}{latest} } @{$repohash{$pkg}{$pos}};
-                                         delete $repohash{$pkg}{$pos};
-                                 }
-                         } else {
-                                 my ($latest, @rest) = sort { $b cmp $a } @{$repohash{$pkg}{$pos}};
-                                 delete $repohash{$pkg}{$pos};
-                                 if ( $repohash{$pkg}{latest} && $repohash{$pkg}{latest} ge $latest ) {
-                                         push @rest, $latest;
-                                 } else {
-                                         $repohash{$pkg}{latest} = $latest;
-                                         $repohash{$pkg}{$pos} = $latest;
-                                 }
-                                 if ( @rest ) {
-                                         push @remove, map { $_->filename } @rest;
-                                         $changed{$pos}++;
                                  }
                          }
+                         $srpms{$repo}{$source}++;
+                         $found++;
+                         last;
                  }
          }
+         print "Can't find source for ".$rpm->{rpm}->filename."\n" unless $found;
  }
- foreach my $pkg ( sort grep { $repohash{$_}{builds} } keys %repohash ) {
+ my @remove;
-         my %versions = ();
+ foreach my $repo ( keys %srpms ) {
-         foreach my $ver ( sort { $b cmp $a } @{$repohash{$pkg}{builds}} ) {
+         foreach my $rpm ( keys %{$srpms{$repo}} ) {
-                 next if $repohash{$pkg}{latest} && $repohash{$pkg}{latest} ge $ver;
+                 unless ( $srpms{$repo}{$rpm} ) {
+                         if ($repo eq $stagedir) {
-                 $versions{$ver->tag("VERSION")}++;
+                                 push @remove, "$repo/SRPMS-$arch/$rpm";
-                 if ( $versions{$ver->tag("VERSION")} > $releases || (scalar keys %versions) > $releases ) {
+                         } else {
-                         foreach my $rpm ( grep { $ver eq $_ } @{$repohash{$pkg}{"$repodir/smedev"}} ) {
+                                 push @remove, "$repo/SRPMS/$rpm";
-                                 push @remove, $rpm->filename;
+                                 $changed{$repo}++;
-                                 @{$repohash{$pkg}{"$repodir/smedev"}} = grep { $rpm ne $_ } @{$repohash{$pkg}{"$repodir/smedev"}};
-                                 $changed{"$repodir/smedev"}++;
-                         }
-                 } else {
-                         print "Possible update " . $ver->filename . "\n" if $repohash{$pkg}{latest};
-                         if ( ! grep { $ver eq $_ } @{$repohash{$pkg}{"$repodir/smedev"}} ) {
-                                 push @{$copy{$devrepo}}, $ver->filename;
-                                 push @{$repohash{$pkg}{"$repodir/smedev"}}, $ver;
-                                 $changed{"$repodir/smedev"}++;
-                         }
-                 }
-         }
- }
- foreach my $pkg ( grep { $repohash{$_}{"$repodir/smedev"} } keys %repohash ) {
-         foreach my $rpm ( @{$repohash{$pkg}{"$repodir/smedev"}} ) {
-                 unless ( grep { $rpm eq $_ } @{$repohash{$pkg}{builds}} ) {
-                         push @remove, $rpm->filename;
-                         @{$repohash{$pkg}{"$repodir/smedev"}} = grep { $rpm ne $_ } @{$repohash{$pkg}{"$repodir/smedev"}};
-                         $changed{"$repodir/smedev"}++;
-                 }
-         }
- }
- print "\n";
- foreach my $repo ( sort keys %srcrepohash ) {
-         foreach my $pkg ( sort grep { $repohash{$_}{$repo} } keys %repohash ) {
-                 my @rpms = ref($repohash{$pkg}{$repo}) eq "ARRAY" ? @{$repohash{$pkg}{$repo}} : ($repohash{$pkg}{$repo});
-                 foreach my $rpm ( sort @rpms ) {
-                         my $src = $rpm->tag("SOURCERPM");
-                         my @sources = ();
-                         push @sources, $src;
-                         push @sources, $src if ($src =~ s/\.2\.el4\.rf\./\.rf\./);
-                         push @sources, $src if ($src =~ s/\.el4\.rf\./\.rf\./);
-                         push @sources, $src if ($src =~ s/\.el4\.at\./\.at\./);
-                         push @sources, $src if ($src =~ s/\.rf\./\.dag\./);
-                         my $found = 0;
-                         foreach my $source ( @sources ) {
-                                 if ( $sources{$source} ) {
-                                         unless ( -f "$repo/SRPMS/$source" ) {
-                                                 push @{$copy{"$repo/SRPMS"}}, "$sources{$source}/$source";
-                                                 $changed{$repo}++;
-                                         }
-                                         $srcrepohash{$repo}{$source}++;
-                                         $found++;
-                                         last;
-                                 } elsif ( -f "$repo/SRPMS/$source" ) {
-                                         print "Found missing source $repo/SRPMS/$source for ".$rpm->as_nvre()."\n";
-                                         $srcrepohash{$repo}{$source}++;
-                                         $found++;
-                                 }
                          }
-                         print "Can't find source for ".$rpm->as_nvre()."\n" unless $found;
-                 }
-         }
-         foreach my $rpm ( keys %{$srcrepohash{$repo}} ) {
-                 unless ( $srcrepohash{$repo}{$rpm} ) {
-                         push @remove, "$repo/SRPMS/$rpm";
-                         $changed{$repo}++;
                  }
          }
  }
  print "\n";
  foreach my $repo ( sort keys %copy ) {
-         foreach my $rpm ( sort keys %{{ map { $_ => 1 } @{$copy{$repo}} }} ) {
+         foreach my $rpm ( keys %{{ map { $_ => 1 } @{$copy{$repo}} }} ) {
                  print "copying $rpm to $repo/\n";
-                 system(qw(cp --preserve=timestamps), $rpm, "$repo/");
+                 mkdir "$repo" unless -d "$repo";
-         }
+                 system(qw(cp --preserve=timestamps), $rpm, "$repo/");
+         }
  }
  print "\n";
- foreach my $rpm ( sort keys %{{ map { $_ => 1 } @remove }} ) {
+ foreach my $rpm ( keys %{{ map { $_ => 1 } (@remove, map { $_->{rpm}->filename } grep { $_->{repo} eq 'deleted' } @rpms) }} ) {
          print "removing $rpm\n";
          unlink $rpm;
  }
  print "\n";
  foreach my $repo ( sort keys %changed ) {
-         next if $repo =~ m{^/builds};
+         my $dir=`readlink -f $repo/$arch`;
+         chomp $dir;
-         print "rebuilding $repo/i386...\n";
+         print "rebuilding $dir...\n";
-         system(qw(createrepo), "$repo/i386");
+         system(qw(createrepo), "$dir");
-         system(qw(repoview), "$repo/i386");
+         system(qw(rm -rf), "$dir/.olddata") if -d "$dir/.olddata";
+         system(qw(repoview), "$dir");
+         system(qw(rm -rf), "$dir/.repodata") if "$dir/.repodata";
  }

 Legend:



Removed lines/characters
 


Changed lines/characters


 
Added lines/characters
 Legend:



Removed lines/characters
 


Changed lines/characters


 
Added lines/characters
-Removed lines/characters
+Added lines/characters

admin@koozali.org	ViewVC Help
Powered by ViewVC 1.2.1