]> sipb.mit.edu Git - ikiwiki.git/blobdiff - IkiWiki/Rcs/git.pm
* Applied a patch from Michał to make the mercurial backend pass --quiet to
[ikiwiki.git] / IkiWiki / Rcs / git.pm
index 374904fd34d735caa087e280a683f9d43c7b083c..7f33148e396751852488b92264245219b208f59b 100644 (file)
@@ -1,21 +1,15 @@
 #!/usr/bin/perl
 #!/usr/bin/perl
-# Git backend for IkiWiki.
-# Copyright 2006  Recai Oktaş <roktas@debian.org>
-#
-# Licensed under the same terms as IkiWiki.
 
 use warnings;
 use strict;
 use IkiWiki;
 
 use warnings;
 use strict;
 use IkiWiki;
+use Encode;
+use open qw{:utf8 :std};
 
 package IkiWiki;
 
 
 package IkiWiki;
 
-my $origin_branch    = 'origin';            # Git ref for main repository
-my $master_branch    = 'master';            # Working branch
 my $sha1_pattern     = qr/[0-9a-fA-F]{40}/; # pattern to validate Git sha1sums
 my $sha1_pattern     = qr/[0-9a-fA-F]{40}/; # pattern to validate Git sha1sums
-my $dummy_commit_msg = 'dummy commit';      # will be used in all dummy commits
-                                           # and skipped in recent changes list
-my $web_commit_msg   = qr/^web commit by (\w+):?(.*)/; # pattern for web commits
+my $dummy_commit_msg = 'dummy commit';      # message to skip in recent changes
 
 sub _safe_git (&@) { #{{{
        # Start a child process safely without resorting /bin/sh.
 
 sub _safe_git (&@) { #{{{
        # Start a child process safely without resorting /bin/sh.
@@ -51,7 +45,7 @@ sub _safe_git (&@) { #{{{
        return wantarray ? @lines : ($? == 0);
 }
 # Convenient wrappers.
        return wantarray ? @lines : ($? == 0);
 }
 # Convenient wrappers.
-sub run_or_die ($@) { _safe_git(\&IkiWiki::error, @_) }
+sub run_or_die ($@) { _safe_git(\&error, @_) }
 sub run_or_cry ($@) { _safe_git(sub { warn @_ },  @_) }
 sub run_or_non ($@) { _safe_git(undef,            @_) }
 #}}}
 sub run_or_cry ($@) { _safe_git(sub { warn @_ },  @_) }
 sub run_or_non ($@) { _safe_git(undef,            @_) }
 #}}}
@@ -105,7 +99,7 @@ sub _merge_past ($$$) { #{{{
                push @undo, sub {
                        return if ! -e "$hidden"; # already renamed
                        rename($hidden, $target)
                push @undo, sub {
                        return if ! -e "$hidden"; # already renamed
                        rename($hidden, $target)
-                          or debug("rename '$hidden' to '$target' failed: $!");
+                           or warn "rename '$hidden' to '$target' failed: $!";
                };
 
                my $branch = "throw_away_${sha1}"; # supposed to be unique
                };
 
                my $branch = "throw_away_${sha1}"; # supposed to be unique
@@ -116,8 +110,8 @@ sub _merge_past ($$$) { #{{{
 
                # Switch to throw-away branch for the merge operation.
                push @undo, sub {
 
                # Switch to throw-away branch for the merge operation.
                push @undo, sub {
-                       if (!run_or_cry('git-checkout', $master_branch)) {
-                               run_or_cry('git-checkout','-f',$master_branch);
+                       if (!run_or_cry('git-checkout', $config{gitmaster_branch})) {
+                               run_or_cry('git-checkout','-f',$config{gitmaster_branch});
                        }
                };
                run_or_die('git-checkout', $branch);
                        }
                };
                run_or_die('git-checkout', $branch);
@@ -129,7 +123,7 @@ sub _merge_past ($$$) { #{{{
                # _Silently_ commit all modifications in the current branch.
                run_or_non('git-commit', '-m', $message, '-a');
                # ... and re-switch to master.
                # _Silently_ commit all modifications in the current branch.
                run_or_non('git-commit', '-m', $message, '-a');
                # ... and re-switch to master.
-               run_or_die('git-checkout', $master_branch);
+               run_or_die('git-checkout', $config{gitmaster_branch});
 
                # Attempt to merge without complaining.
                if (!run_or_non('git-pull', '--no-commit', '.', $branch)) {
 
                # Attempt to merge without complaining.
                if (!run_or_non('git-pull', '--no-commit', '.', $branch)) {
@@ -157,15 +151,15 @@ sub _parse_diff_tree (@) { #{{{
        my ($dt_ref) = @_;
 
        # End of stream?
        my ($dt_ref) = @_;
 
        # End of stream?
-       return if !defined @{ $dt_ref } || !length @{ $dt_ref }[0];
+       return if !defined @{ $dt_ref } ||
+                 !defined @{ $dt_ref }[0] || !length @{ $dt_ref }[0];
 
        my %ci;
 
        my %ci;
-
        # Header line.
        HEADER: while (my $line = shift @{ $dt_ref }) {
        # Header line.
        HEADER: while (my $line = shift @{ $dt_ref }) {
-               return if $line !~ m/^diff-tree (\S+)/;
+               return if $line !~ m/^(.+) ($sha1_pattern)/;
 
 
-               my $sha1 = $1;
+               my $sha1 = $2;
                $ci{'sha1'} = $sha1;
                last HEADER;
        }
                $ci{'sha1'} = $sha1;
                last HEADER;
        }
@@ -175,10 +169,12 @@ sub _parse_diff_tree (@) { #{{{
                # Regexps are semi-stolen from gitweb.cgi.
                if ($line =~ m/^tree ([0-9a-fA-F]{40})$/) {
                        $ci{'tree'} = $1;
                # Regexps are semi-stolen from gitweb.cgi.
                if ($line =~ m/^tree ([0-9a-fA-F]{40})$/) {
                        $ci{'tree'} = $1;
-               } elsif ($line =~ m/^parent ([0-9a-fA-F]{40})$/) {
+               }
+               elsif ($line =~ m/^parent ([0-9a-fA-F]{40})$/) {
                        # XXX: collecting in reverse order
                        push @{ $ci{'parents'} }, $1;
                        # XXX: collecting in reverse order
                        push @{ $ci{'parents'} }, $1;
-               } elsif ($line =~ m/^(author|committer) (.*) ([0-9]+) (.*)$/) {
+               }
+               elsif ($line =~ m/^(author|committer) (.*) ([0-9]+) (.*)$/) {
                        my ($who, $name, $epoch, $tz) =
                           ($1,   $2,    $3,     $4 );
 
                        my ($who, $name, $epoch, $tz) =
                           ($1,   $2,    $3,     $4 );
 
@@ -190,20 +186,22 @@ sub _parse_diff_tree (@) { #{{{
                                my ($fullname, $username) = ($1, $2);
                                $ci{"${who}_fullname"}    = $fullname;
                                $ci{"${who}_username"}    = $username;
                                my ($fullname, $username) = ($1, $2);
                                $ci{"${who}_fullname"}    = $fullname;
                                $ci{"${who}_username"}    = $username;
-                       } else {
+                       }
+                       else {
                                $ci{"${who}_fullname"} =
                                        $ci{"${who}_username"} = $name;
                        }
                                $ci{"${who}_fullname"} =
                                        $ci{"${who}_username"} = $name;
                        }
-               } elsif ($line =~ m/^$/) {
+               }
+               elsif ($line =~ m/^$/) {
                        # Trailing empty line signals next section.
                        last IDENT;
                }
        }
 
                        # Trailing empty line signals next section.
                        last IDENT;
                }
        }
 
-       error("No 'tree' or 'parents' seen in diff-tree output")
+       debug("No 'tree' or 'parents' seen in diff-tree output")
            if !defined $ci{'tree'} || !defined $ci{'parents'};
 
            if !defined $ci{'tree'} || !defined $ci{'parents'};
 
-       $ci{'parent'} = @{ $ci{'parents'} }[0];
+       $ci{'parent'} = @{ $ci{'parents'} }[0] if defined $ci{'parents'};
 
        # Commit message.
        COMMENT: while (my $line = shift @{ $dt_ref }) {
 
        # Commit message.
        COMMENT: while (my $line = shift @{ $dt_ref }) {
@@ -217,14 +215,14 @@ sub _parse_diff_tree (@) { #{{{
 
        # Modified files.
        FILE: while (my $line = shift @{ $dt_ref }) {
 
        # Modified files.
        FILE: while (my $line = shift @{ $dt_ref }) {
-               if ($line =~ m{^
-                       :([0-7]{6})[ ]       # from mode
-                       ([0-7]{6})[ ]        # to mode
-                       ([0-9a-fA-F]{40})[ ] # from sha1
-                       ([0-9a-fA-F]{40})[ ] # to sha1
-                       (.)                  # status
-                       ([0-9]{0,3})\t       # similarity
-                       (.*)                 # file
+               if ($line =~ m{^:
+                       ([0-7]{6})[ ]      # from mode
+                       ([0-7]{6})[ ]      # to mode
+                       ($sha1_pattern)[ ] # from sha1
+                       ($sha1_pattern)[ ] # to sha1
+                       (.)                # status
+                       ([0-9]{0,3})\t     # similarity
+                       (.*)               # file
                $}xo) {
                        my ($sha1_from, $sha1_to, $file) =
                           ($3,         $4,       $7   );
                $}xo) {
                        my ($sha1_from, $sha1_to, $file) =
                           ($3,         $4,       $7   );
@@ -234,7 +232,7 @@ sub _parse_diff_tree (@) { #{{{
                        }
                        if (length $file) {
                                push @{ $ci{'details'} }, {
                        }
                        if (length $file) {
                                push @{ $ci{'details'} }, {
-                                       'file'      => $file,
+                                       'file'      => decode_utf8($file),
                                        'sha1_from' => $sha1_from,
                                        'sha1_to'   => $sha1_to,
                                };
                                        'sha1_from' => $sha1_from,
                                        'sha1_to'   => $sha1_to,
                                };
@@ -244,14 +242,14 @@ sub _parse_diff_tree (@) { #{{{
                last FILE;
        }
 
                last FILE;
        }
 
-       error("No detail in diff-tree output") if !defined $ci{'details'};
+       debug("No detail in diff-tree output") if !defined $ci{'details'};
 
        return \%ci;
 } #}}}
 
 
        return \%ci;
 } #}}}
 
-sub git_commit_info (;$$) { #{{{
+sub git_commit_info ($;$) { #{{{
        # Return an array of commit info hashes of num commits (default: 1)
        # Return an array of commit info hashes of num commits (default: 1)
-       # starting from the given sha1sum (default: HEAD).
+       # starting from the given sha1sum.
 
        my ($sha1, $num) = @_;
 
 
        my ($sha1, $num) = @_;
 
@@ -259,13 +257,15 @@ sub git_commit_info (;$$) { #{{{
 
        my @raw_lines =
            run_or_die(qq{git-rev-list --max-count=$num $sha1 |
 
        my @raw_lines =
            run_or_die(qq{git-rev-list --max-count=$num $sha1 |
-               git-diff-tree --stdin --pretty=raw -c -M -r});
+                         git-diff-tree --stdin --pretty=raw --always -M -m -r});
 
        my @ci;
        while (my $parsed = _parse_diff_tree(\@raw_lines)) {
                push @ci, $parsed;
        }
 
 
        my @ci;
        while (my $parsed = _parse_diff_tree(\@raw_lines)) {
                push @ci, $parsed;
        }
 
+       warn "Cannot parse commit info for '$sha1' commit" if !@ci;
+
        return wantarray ? @ci : $ci[0];
 } #}}}
 
        return wantarray ? @ci : $ci[0];
 } #}}}
 
@@ -274,16 +274,18 @@ sub git_sha1 (;$) { #{{{
 
        my $file = shift || q{--};
 
 
        my $file = shift || q{--};
 
-       my ($sha1) = run_or_die('git-rev-list', '--max-count=1', 'HEAD', $file);
-       ($sha1) = $sha1 =~ m/($sha1_pattern)/; # sha1sum is untainted now
-       debug("Empty sha1sum for '$file'.") if !length $sha1;
-       return $sha1;
+       # Ignore error since a non-existing file might be given.
+       my ($sha1) = run_or_non('git-rev-list', '--max-count=1', 'HEAD', $file);
+       if ($sha1) {
+               ($sha1) = $sha1 =~ m/($sha1_pattern)/; # sha1 is untainted now
+       } else { debug("Empty sha1sum for '$file'.") }
+       return defined $sha1 ? $sha1 : q{};
 } #}}}
 
 sub rcs_update () { #{{{
        # Update working directory.
 
 } #}}}
 
 sub rcs_update () { #{{{
        # Update working directory.
 
-       run_or_cry('git-pull', $origin_branch);
+       run_or_cry('git-pull', $config{gitorigin_branch});
 } #}}}
 
 sub rcs_prepedit ($) { #{{{
 } #}}}
 
 sub rcs_prepedit ($) { #{{{
@@ -292,16 +294,24 @@ sub rcs_prepedit ($) { #{{{
 
        my ($file) = @_;
 
 
        my ($file) = @_;
 
-       my $sha1 = git_sha1($file);
-       return defined $sha1 ? $sha1 : q{};
+       return git_sha1($file);
 } #}}}
 
 } #}}}
 
-sub rcs_commit ($$$) { #{{{
+sub rcs_commit ($$$;$$) { #{{{
        # Try to commit the page; returns undef on _success_ and
        # a version of the page with the rcs's conflict markers on
        # failure.
 
        # Try to commit the page; returns undef on _success_ and
        # a version of the page with the rcs's conflict markers on
        # failure.
 
-       my ($file, $message, $rcstoken) = @_;
+       my ($file, $message, $rcstoken, $user, $ipaddr) = @_;
+
+       if (defined $user) {
+               $message = "web commit by $user" .
+                   (length $message ? ": $message" : "");
+       }
+       elsif (defined $ipaddr) {
+               $message = "web commit from $ipaddr" .
+                   (length $message ? ": $message" : "");
+       }
 
        # XXX: Wiki directory is in the unlocked state when starting this
        # action.  But it takes time for a Git process to finish its job
 
        # XXX: Wiki directory is in the unlocked state when starting this
        # action.  But it takes time for a Git process to finish its job
@@ -313,7 +323,7 @@ sub rcs_commit ($$$) { #{{{
        # Check to see if the page has been changed by someone else since
        # rcs_prepedit was called.
        my $cur    = git_sha1($file);
        # Check to see if the page has been changed by someone else since
        # rcs_prepedit was called.
        my $cur    = git_sha1($file);
-       my ($prev) = $rcstoken =~ m/^$sha1_pattern$/; # untaint
+       my ($prev) = $rcstoken =~ /^($sha1_pattern)$/; # untaint
 
        if (defined $cur && defined $prev && $cur ne $prev) {
                my $conflict = _merge_past($prev, $file, $dummy_commit_msg);
 
        if (defined $cur && defined $prev && $cur ne $prev) {
                my $conflict = _merge_past($prev, $file, $dummy_commit_msg);
@@ -322,9 +332,10 @@ sub rcs_commit ($$$) { #{{{
 
        # git-commit(1) returns non-zero if file has not been really changed.
        # so we should ignore its exit status (hence run_or_non).
 
        # git-commit(1) returns non-zero if file has not been really changed.
        # so we should ignore its exit status (hence run_or_non).
+       $message = possibly_foolish_untaint($message);
        if (run_or_non('git-commit', '-m', $message, '-i', $file)) {
                unlockwiki();
        if (run_or_non('git-commit', '-m', $message, '-i', $file)) {
                unlockwiki();
-               run_or_cry('git-push', $origin_branch);
+               run_or_cry('git-push', $config{gitorigin_branch});
        }
 
        return undef; # success
        }
 
        return undef; # success
@@ -343,58 +354,60 @@ sub rcs_recentchanges ($) { #{{{
 
        my ($num) = @_;
 
 
        my ($num) = @_;
 
-       eval q{use CGI 'escapeHTML'};
        eval q{use Date::Parse};
        eval q{use Date::Parse};
-       eval q{use Time::Duration};
+       error($@) if $@;
 
 
-       my ($sha1, $type, $when, $diffurl, $user, @pages, @message, @rets);
+       my @rets;
        INFO: foreach my $ci (git_commit_info('HEAD', $num)) {
                my $title = @{ $ci->{'comment'} }[0];
 
                # Skip redundant commits.
                next INFO if ($title eq $dummy_commit_msg);
 
        INFO: foreach my $ci (git_commit_info('HEAD', $num)) {
                my $title = @{ $ci->{'comment'} }[0];
 
                # Skip redundant commits.
                next INFO if ($title eq $dummy_commit_msg);
 
-               $sha1 = $ci->{'sha1'};
-               $type = "web";
-               $when = concise(ago(time - $ci->{'author_epoch'}));
+               my ($sha1, $when) = (
+                       $ci->{'sha1'},
+                       time - $ci->{'author_epoch'}
+               );
 
 
-               foreach my $bit (@{ $ci->{'details'} }) {
+               my (@pages, @messages);
+               DETAIL: foreach my $detail (@{ $ci->{'details'} }) {
                        my $diffurl = $config{'diffurl'};
                        my $diffurl = $config{'diffurl'};
-                       my $file    = $bit->{'file'};
+                       my $file    = $detail->{'file'};
 
                        $diffurl =~ s/\[\[file\]\]/$file/go;
                        $diffurl =~ s/\[\[sha1_parent\]\]/$ci->{'parent'}/go;
 
                        $diffurl =~ s/\[\[file\]\]/$file/go;
                        $diffurl =~ s/\[\[sha1_parent\]\]/$ci->{'parent'}/go;
-                       $diffurl =~ s/\[\[sha1_from\]\]/$bit->{'sha1_from'}/go;
-                       $diffurl =~ s/\[\[sha1_to\]\]/$bit->{'sha1_to'}/go;
+                       $diffurl =~ s/\[\[sha1_from\]\]/$detail->{'sha1_from'}/go;
+                       $diffurl =~ s/\[\[sha1_to\]\]/$detail->{'sha1_to'}/go;
 
                        push @pages, {
 
                        push @pages, {
-                               link => htmllink("", pagename($file), 1),
+                               page => pagename($file),
                                diffurl => $diffurl,
                                diffurl => $diffurl,
-                       },
+                       };
                }
                }
+               push @messages, { line => $title };
 
 
-               push @message, { line => escapeHTML($title) };
+               my ($user, $type) = (q{}, "web");
 
 
-               if (defined $message[0] &&
-                   $message[0]->{line} =~ m/$web_commit_msg/) {
-                       $user = "$1";
-                       $message[0]->{line} = $2;
-               } else {
+               if (defined $messages[0] &&
+                   $messages[0]->{line} =~ m/$config{web_commit_regexp}/) {
+                       $user = defined $2 ? "$2" : "$3";
+                       $messages[0]->{line} = $4;
+               }
+               else {
                        $type ="git";
                        $user = $ci->{'author_username'};
                }
 
                push @rets, {
                        rev        => $sha1,
                        $type ="git";
                        $user = $ci->{'author_username'};
                }
 
                push @rets, {
                        rev        => $sha1,
-                       user       => htmllink("", $user, 1),
+                       user       => $user,
                        committype => $type,
                        when       => $when,
                        committype => $type,
                        when       => $when,
-                       message    => [@message],
+                       message    => [@messages],
                        pages      => [@pages],
                        pages      => [@pages],
-               } if @pages;
+               };
 
 
-               $sha1 = $type = $when = $diffurl = $user = undef;
-               @pages = @message = ();
+               last INFO if @rets >= $num;
        }
 
        return @rets;
        }
 
        return @rets;
@@ -420,59 +433,29 @@ sub rcs_notify () { #{{{
        my $sha1 = 'HEAD'; # the commit which triggers this action
 
        my $ci = git_commit_info($sha1);
        my $sha1 = 'HEAD'; # the commit which triggers this action
 
        my $ci = git_commit_info($sha1);
-       if (!defined $ci) {
-               warn "Cannot parse info for '$sha1' commit";
-               return;
-       }
+       return if !defined $ci;
 
        my @changed_pages = map { $_->{'file'} } @{ $ci->{'details'} };
 
        my ($user, $message);
 
        my @changed_pages = map { $_->{'file'} } @{ $ci->{'details'} };
 
        my ($user, $message);
-       if (@{ $ci->{'comment'} }[0] =~ m/$web_commit_msg/) {
-               $user    = "$1";
-               $message = $2;
-       } else {
+       if (@{ $ci->{'comment'} }[0] =~ m/$config{web_commit_regexp}/) {
+               $user    = defined $2 ? "$2" : "$3";
+               $message = $4;
+       }
+       else {
                $user    = $ci->{'author_username'};
                $message = join "\n", @{ $ci->{'comment'} };
        }
 
        require IkiWiki::UserInfo;
                $user    = $ci->{'author_username'};
                $message = join "\n", @{ $ci->{'comment'} };
        }
 
        require IkiWiki::UserInfo;
-       my @email_recipients = commit_notify_list($user, @changed_pages);
-       return if !@email_recipients;
-
-       # TODO: if a commit spans multiple pages, this will send
-       # subscribers a diff that might contain pages they did not
-       # sign up for. Should separate the diff per page and
-       # reassemble into one mail with just the pages subscribed to.
-       my $diff = join "\n", run_or_die('git-diff', "${sha1}^", $sha1);
-
-       my $subject = "$config{wikiname} update of ";
-       if (@changed_pages > 2) {
-               $subject .= "$changed_pages[0] $changed_pages[1] etc";
-       } else {
-               $subject .= join " ", @changed_pages;
-       }
-       $subject .= " by $user";
-
-       my $template = HTML::Template->new(
-               filename => "$config{templatedir}/notifymail.tmpl"
-       );
-       $template->param(
-               wikiname => $config{wikiname},
-               diff     => $diff,
-               user     => $user,
-               message  => $message,
+       send_commit_mails(
+               sub {
+                       $message;
+               },
+               sub {
+                       join "\n", run_or_die('git-diff', "${sha1}^", $sha1);
+               }, $user, @changed_pages
        );
        );
-
-       eval q{use Mail::Sendmail};
-       foreach my $email (@email_recipients) {
-               sendmail(
-                       To      => $email,
-                       From    => "$config{wikiname} <$config{adminemail}>",
-                       Subject => $subject,
-                       Message => $template->output,
-               ) or error("Failed to send update notification mail: $!");
-       }
 } #}}}
 
 sub rcs_getctime ($) { #{{{
 } #}}}
 
 sub rcs_getctime ($) { #{{{