]> sipb.mit.edu Git - ikiwiki.git/blob - ikiwiki
foo
[ikiwiki.git] / ikiwiki
1 #!/usr/bin/perl -T
2
3 use warnings;
4 use strict;
5 use File::Find;
6 use Memoize;
7 use File::Spec;
8
9 $ENV{PATH}="/usr/local/bin:/usr/bin:/bin";
10
11 BEGIN {
12         $blosxom::version="is a proper perl module too much to ask?";
13         do "/usr/bin/markdown";
14 }
15
16 my ($srcdir, $destdir, %links, %oldlinks, %oldpagemtime, %renderedfiles,
17     %pagesources);
18 my $wiki_link_regexp=qr/\[\[([^\s]+)\]\]/;
19 my $wiki_file_regexp=qr/(^[-A-Za-z0-9_.:\/+]+$)/;
20 my $wiki_file_prune_regexp=qr!((^|/).svn/|\.\.|^\.|\/\.|\.html?$)!;
21 my $verbose=0;
22 my $wikiname="wiki";
23 my $default_pagetype=".mdwn";
24 my $cgi=0;
25 my $url="";
26 my $cgiurl="";
27 my $svn=1;
28
29 sub usage {
30         die "usage: ikiwiki [options] source dest\n";
31 }
32
33 sub error ($) {
34         if ($cgi) {
35                 print "Content-type: text/html\n\n";
36                 print "Error: @_\n";
37                 exit 1;
38         }
39         else {
40                 die @_;
41         }
42 }
43
44 sub debug ($) {
45         print "@_\n" if $verbose;
46 }
47
48 sub mtime ($) {
49         my $page=shift;
50         
51         return (stat($page))[9];
52 }
53
54 sub possibly_foolish_untaint ($) {
55         my $tainted=shift;
56         my ($untainted)=$tainted=~/(.*)/;
57         return $untainted;
58 }
59
60 sub basename {
61         my $file=shift;
62
63         $file=~s!.*/!!;
64         return $file;
65 }
66
67 sub dirname {
68         my $file=shift;
69
70         $file=~s!/?[^/]+$!!;
71         return $file;
72 }
73
74 sub pagetype ($) {
75         my $page=shift;
76         
77         if ($page =~ /\.mdwn$/) {
78                 return ".mdwn";
79         }
80         else {
81                 return "unknown";
82         }
83 }
84
85 sub pagename ($) {
86         my $file=shift;
87
88         my $type=pagetype($file);
89         my $page=$file;
90         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
91         return $page;
92 }
93
94 sub htmlpage ($) {
95         my $page=shift;
96
97         return $page.".html";
98 }
99
100 sub readfile ($) {
101         my $file=shift;
102
103         local $/=undef;
104         open (IN, "$file") || error("failed to read $file: $!");
105         my $ret=<IN>;
106         close IN;
107         return $ret;
108 }
109
110 sub writefile ($$) {
111         my $file=shift;
112         my $content=shift;
113
114         my $dir=dirname($file);
115         if (! -d $dir) {
116                 my $d="";
117                 foreach my $s (split(m!/+!, $dir)) {
118                         $d.="$s/";
119                         if (! -d $d) {
120                                 mkdir($d) || error("failed to create directory $d: $!");
121                         }
122                 }
123         }
124         
125         open (OUT, ">$file") || error("failed to write $file: $!");
126         print OUT $content;
127         close OUT;
128 }
129
130 sub findlinks {
131         my $content=shift;
132
133         my @links;
134         while ($content =~ /$wiki_link_regexp/g) {
135                 push @links, lc($1);
136         }
137         return @links;
138 }
139
140 # Given a page and the text of a link on the page, determine which existing
141 # page that link best points to. Prefers pages under a subdirectory with
142 # the same name as the source page, failing that goes down the directory tree
143 # to the base looking for matching pages.
144 sub bestlink ($$) {
145         my $page=shift;
146         my $link=lc(shift);
147         
148         my $cwd=$page;
149         do {
150                 my $l=$cwd;
151                 $l.="/" if length $l;
152                 $l.=$link;
153
154                 if (exists $links{$l}) {
155                         #debug("for $page, \"$link\", use $l");
156                         return $l;
157                 }
158         } while $cwd=~s!/?[^/]+$!!;
159
160         #print STDERR "warning: page $page, broken link: $link\n";
161         return "";
162 }
163
164 sub isinlinableimage ($) {
165         my $file=shift;
166         
167         $file=~/\.(png|gif|jpg|jpeg)$/;
168 }
169
170 sub htmllink ($$) {
171         my $page=shift;
172         my $link=shift;
173
174         my $bestlink=bestlink($page, $link);
175
176         return $link if $page eq $bestlink;
177         
178         # TODO BUG: %renderedfiles may not have it, if the linked to page
179         # was also added and isn't yet rendered! Note that this bug is
180         # masked by the bug mentioned below that makes all new files
181         # be rendered twice.
182         if (! grep { $_ eq $bestlink } values %renderedfiles) {
183                 $bestlink=htmlpage($bestlink);
184         }
185         if (! grep { $_ eq $bestlink } values %renderedfiles) {
186                 return "<a href=\"$cgiurl?do=create&page=$link&from=$page\">?</a>$link"
187         }
188         
189         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
190         
191         if (isinlinableimage($bestlink)) {
192                 return "<img src=\"$bestlink\">";
193         }
194         return "<a href=\"$bestlink\">$link</a>";
195 }
196
197 sub linkify ($$) {
198         my $content=shift;
199         my $file=shift;
200
201         $content =~ s/$wiki_link_regexp/htmllink(pagename($file), $1)/eg;
202         
203         return $content;
204 }
205
206 sub htmlize ($$) {
207         my $type=shift;
208         my $content=shift;
209         
210         if ($type eq '.mdwn') {
211                 return Markdown::Markdown($content);
212         }
213         else {
214                 error("htmlization of $type not supported");
215         }
216 }
217
218 sub linkbacks ($$) {
219         my $content=shift;
220         my $page=shift;
221
222         my @links;
223         foreach my $p (keys %links) {
224                 next if bestlink($page, $p) eq $page;
225                 if (grep { length $_ && bestlink($p, $_) eq $page } @{$links{$p}}) {
226                         my $href=File::Spec->abs2rel(htmlpage($p), dirname($page));
227                         
228                         # Trim common dir prefixes from both pages.
229                         my $p_trimmed=$p;
230                         my $page_trimmed=$page;
231                         my $dir;
232                         1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
233                                 defined $dir &&
234                                 $p_trimmed=~s/^\Q$dir\E// &&
235                                 $page_trimmed=~s/^\Q$dir\E//;
236                                        
237                         push @links, "<a href=\"$href\">$p_trimmed</a>";
238                 }
239         }
240
241         $content.="<hr><p>Links: ".join(" ", sort @links)."</p>\n" if @links;
242         return $content;
243 }
244
245 sub finalize ($$) {
246         my $content=shift;
247         my $page=shift;
248
249         my $title=basename($page);
250         $title=~s/_/ /g;
251         
252         my $pagelink="";
253         my $path="";
254         foreach my $dir (reverse split("/", $page)) {
255                 if (length($pagelink)) {
256                         $pagelink="<a href=\"$path$dir.html\">$dir</a>/ $pagelink";
257                 }
258                 else {
259                         $pagelink=$dir;
260                 }
261                 $path.="../";
262         }
263         $path=~s/\.\.\/$/index.html/;
264         $pagelink="<a href=\"$path\">$wikiname</a>/ $pagelink";
265         
266         my @actions;
267         if (length $cgiurl) {
268                 push @actions, "<a href=\"$cgiurl?do=edit&page=$page\">Edit</a>";
269                 push @actions, "<a href=\"$cgiurl?do=recentchanges\">RecentChanges</a>";
270         }
271         
272         $content="<html>\n<head><title>$title</title></head>\n<body>\n".
273                   "<h1>$pagelink</h1>\n".
274                   "@actions\n<hr>\n".
275                   $content.
276                   "</body>\n</html>\n";
277         
278         return $content;
279 }
280
281 sub render ($) {
282         my $file=shift;
283         
284         my $type=pagetype($file);
285         my $content=readfile("$srcdir/$file");
286         if ($type ne 'unknown') {
287                 my $page=pagename($file);
288                 
289                 $links{$page}=[findlinks($content)];
290                 
291                 $content=linkify($content, $file);
292                 $content=htmlize($type, $content);
293                 $content=linkbacks($content, $page);
294                 $content=finalize($content, $page);
295                 
296                 writefile("$destdir/".htmlpage($page), $content);
297                 $oldpagemtime{$page}=time;
298                 $renderedfiles{$page}=htmlpage($page);
299         }
300         else {
301                 $links{$file}=[];
302                 writefile("$destdir/$file", $content);
303                 $oldpagemtime{$file}=time;
304                 $renderedfiles{$file}=$file;
305         }
306 }
307
308 sub loadindex () {
309         open (IN, "$srcdir/.index") || return;
310         while (<IN>) {
311                 $_=possibly_foolish_untaint($_);
312                 chomp;
313                 my ($mtime, $file, $rendered, @links)=split(' ', $_);
314                 my $page=pagename($file);
315                 $pagesources{$page}=$file;
316                 $oldpagemtime{$page}=$mtime;
317                 $oldlinks{$page}=[@links];
318                 $links{$page}=[@links];
319                 $renderedfiles{$page}=$rendered;
320         }
321         close IN;
322 }       
323
324 sub saveindex () {
325         open (OUT, ">$srcdir/.index") || error("cannot write to .index: $!");
326         foreach my $page (keys %oldpagemtime) {
327         print OUT "$oldpagemtime{$page} $pagesources{$page} $renderedfiles{$page} ".
328                   join(" ", @{$links{$page}})."\n"
329                         if $oldpagemtime{$page};
330         }
331         close OUT;
332 }
333
334 sub rcs_update () {
335         if (-d "$srcdir/.svn") {
336                 if (system("svn", "update", "--quiet", $srcdir) != 0) {
337                         warn("svn update failed\n");
338                 }
339         }
340 }
341
342 sub rcs_commit ($) {
343         my $message=shift;
344
345         if (-d "$srcdir/.svn") {
346                 if (system("svn", "commit", "--quiet", "-m",
347                            possibly_foolish_untaint($message), $srcdir) != 0) {
348                         warn("svn commit failed\n");
349                 }
350         }
351 }
352
353 sub rcs_ad ($) {
354         my $file=shift;
355
356         if (-d "$srcdir/.svn") {
357                 if (system("svn", "add", "--quiet", $file) != 0) {
358                         warn("svn add failed\n");
359                 }
360         }
361 }
362
363 sub prune ($) {
364         my $file=shift;
365
366         unlink($file);
367         my $dir=dirname($file);
368         while (rmdir($dir)) {
369                 $dir=dirname($dir);
370         }
371 }
372
373 sub refresh () {
374         # Find existing pages.
375         my %exists;
376         my @files;
377         find({
378                 no_chdir => 1,
379                 wanted => sub {
380                         if (/$wiki_file_prune_regexp/) {
381                                 $File::Find::prune=1;
382                         }
383                         elsif (! -d $_) {
384                                 my ($f)=/$wiki_file_regexp/; # untaint
385                                 if (! defined $f) {
386                                         warn("skipping bad filename $_\n");
387                                 }
388                                 else {
389                                         $f=~s/^\Q$srcdir\E\/?//;
390                                         push @files, $f;
391                                         $exists{pagename($f)}=1;
392                                 }
393                         }
394                 },
395         }, $srcdir);
396
397         my %rendered;
398
399         # check for added or removed pages
400         my @add;
401         foreach my $file (@files) {
402                 my $page=pagename($file);
403                 if (! $oldpagemtime{$page}) {
404                         debug("new page $page");
405                         push @add, $file;
406                         $links{$page}=[];
407                         $pagesources{$page}=$file;
408                 }
409         }
410         my @del;
411         foreach my $page (keys %oldpagemtime) {
412                 if (! $exists{$page}) {
413                         debug("removing old page $page");
414                         push @del, $renderedfiles{$page};
415                         prune($destdir."/".$renderedfiles{$page});
416                         delete $renderedfiles{$page};
417                         $oldpagemtime{$page}=0;
418                         delete $pagesources{$page};
419                 }
420         }
421         
422         # render any updated files
423         foreach my $file (@files) {
424                 my $page=pagename($file);
425                 
426                 if (! exists $oldpagemtime{$page} ||
427                     mtime("$srcdir/$file") > $oldpagemtime{$page}) {
428                         debug("rendering changed file $file");
429                         render($file);
430                         $rendered{$file}=1;
431                 }
432         }
433         
434         # if any files were added or removed, check to see if each page
435         # needs an update due to linking to them
436         # TODO: inefficient; pages may get rendered above and again here;
437         # problem is the bestlink may have changed and we won't know until
438         # now
439         if (@add || @del) {
440 FILE:           foreach my $file (@files) {
441                         my $page=pagename($file);
442                         foreach my $f (@add, @del) {
443                                 my $p=pagename($f);
444                                 foreach my $link (@{$links{$page}}) {
445                                         if (bestlink($page, $link) eq $p) {
446                                                 debug("rendering $file, which links to $p");
447                                                 render($file);
448                                                 $rendered{$file}=1;
449                                                 next FILE;
450                                         }
451                                 }
452                         }
453                 }
454         }
455
456         # handle linkbacks; if a page has added/removed links, update the
457         # pages it links to
458         # TODO: inefficient; pages may get rendered above and again here;
459         # problem is the linkbacks could be wrong in the first pass render
460         # above
461         if (%rendered) {
462                 my %linkchanged;
463                 foreach my $file (keys %rendered, @del) {
464                         my $page=pagename($file);
465                         if (exists $links{$page}) {
466                                 foreach my $link (@{$links{$page}}) {
467                                         $link=bestlink($page, $link);
468                                         if (length $link &&
469                                             ! exists $oldlinks{$page} ||
470                                             ! grep { $_ eq $link } @{$oldlinks{$page}}) {
471                                                 $linkchanged{$link}=1;
472                                         }
473                                 }
474                         }
475                         if (exists $oldlinks{$page}) {
476                                 foreach my $link (@{$oldlinks{$page}}) {
477                                         $link=bestlink($page, $link);
478                                         if (length $link &&
479                                             ! exists $links{$page} ||
480                                             ! grep { $_ eq $link } @{$links{$page}}) {
481                                                 $linkchanged{$link}=1;
482                                         }
483                                 }
484                         }
485                 }
486                 foreach my $link (keys %linkchanged) {
487                         my $linkfile=$pagesources{$link};
488                         if (defined $linkfile) {
489                                 debug("rendering $linkfile, to update its linkbacks");
490                                 render($linkfile);
491                         }
492                 }
493         }
494 }
495
496 # Generates a C wrapper program for running ikiwiki in a specific way.
497 # The wrapper may be safely made suid.
498 sub gen_wrapper ($$) {
499         my ($svn, $rebuild)=@_;
500
501         eval {use Cwd 'abs_path'};
502         $srcdir=abs_path($srcdir);
503         $destdir=abs_path($destdir);
504         my $this=abs_path($0);
505         if (! -x $this) {
506                 error("$this doesn't seem to be executable");
507         }
508
509         my @params=($srcdir, $destdir, "--wikiname=$wikiname");
510         push @params, "--verbose" if $verbose;
511         push @params, "--rebuild" if $rebuild;
512         push @params, "--nosvn" if !$svn;
513         push @params, "--cgi" if $cgi;
514         push @params, "--url=$url" if $url;
515         push @params, "--cgiurl=$cgiurl" if $cgiurl;
516         my $params=join(" ", @params);
517         my $call='';
518         foreach my $p ($this, $this, @params) {
519                 $call.=qq{"$p", };
520         }
521         $call.="NULL";
522         
523         my @envsave;
524         push @envsave, qw{REMOTE_ADDR QUERY_STRING REQUEST_METHOD REQUEST_URI
525                        CONTENT_TYPE CONTENT_LENGTH GATEWAY_INTERFACE} if $cgi;
526         my $envsave="";
527         foreach my $var (@envsave) {
528                 $envsave.=<<"EOF"
529         if ((s=getenv("$var")))
530                 asprintf(&newenviron[i++], "%s=%s", "$var", s);
531 EOF
532         }
533         
534         open(OUT, ">ikiwiki-wrap.c") || error("failed to write ikiwiki-wrap.c: $!");;
535         print OUT <<"EOF";
536 /* A wrapper for ikiwiki, can be safely made suid. */
537 #define _GNU_SOURCE
538 #include <stdio.h>
539 #include <unistd.h>
540 #include <stdlib.h>
541 #include <string.h>
542
543 extern char **environ;
544
545 int main (int argc, char **argv) {
546         /* Sanitize environment. */
547         char *s;
548         char *newenviron[$#envsave+3];
549         int i=0;
550 $envsave
551         newenviron[i++]="HOME=$ENV{HOME}";
552         newenviron[i]=NULL;
553         environ=newenviron;
554
555         if (argc == 2 && strcmp(argv[1], "--params") == 0) {
556                 printf("$params\\n");
557                 exit(0);
558         }
559         
560         execl($call);
561         perror("failed to run $this");
562         exit(1);
563 }
564 EOF
565         close OUT;
566         if (system("gcc", "ikiwiki-wrap.c", "-o", "ikiwiki-wrap") != 0) {
567                 error("failed to compile ikiwiki-wrap.c");
568         }
569         unlink("ikiwiki-wrap.c");
570         print "successfully generated ikiwiki-wrap\n";
571         exit 0;
572 }
573
574 sub cgi () {
575         eval q{use CGI};
576         my $q=CGI->new;
577
578         my $do=$q->param('do');
579         if (! defined $do || ! length $do) {
580                 error("\"do\" parameter missing");
581         }
582         
583         my ($page)=$q->param('page')=~/$wiki_file_regexp/;
584         if (! defined $page || ! length $page || $page ne $q->param('page') ||
585             $page=~/$wiki_file_prune_regexp/ || $page=~/^\//) {
586                 error("bad page name");
587         }
588         $page=lc($page);
589         
590         my $action=$q->request_uri;
591         $action=~s/\?.*//;
592         
593         if ($do eq 'create') {
594                 if (exists $pagesources{lc($page)}) {
595                         # hmm, someone else made the page in the meantime?
596                         print $q->redirect("$url/".htmlpage($page));
597                 }
598
599                 my @page_locs;
600                 my ($from)=$q->param('from')=~/$wiki_file_regexp/;
601                 if (! defined $from || ! length $from ||
602                     $from ne $q->param('from') ||
603                     $from=~/$wiki_file_prune_regexp/ || $from=~/^\//) {
604                         @page_locs=$page;
605                 }
606                 else {
607                         my $dir=$from."/";
608                         $dir=~s/[^/]+\/$//;
609                         push @page_locs, $dir.$page;
610                         push @page_locs, "$from/$page";
611                         while (length $dir) {
612                                 $dir=~s/[^/]+\/$//;
613                                 push @page_locs, $dir.$page;
614                         }
615                 }
616                 
617                 $q->param("do", "save");
618                 print $q->header,
619                       $q->start_html("$wikiname: Creating $page"),
620                       $q->h1("$wikiname: Creating $page"),
621                       $q->start_form(-action => $action),
622                       $q->hidden('do'),
623                       "Select page location:",
624                       $q->popup_menu('page', \@page_locs),
625                       $q->textarea(-name => 'content',
626                                -default => "",
627                                -rows => 20,
628                                -columns => 80),
629                       $q->br,
630                       "Optional comment about this change:",
631                       $q->br,
632                       $q->textfield(-name => "comments", -size => 80),
633                       $q->br,
634                       $q->submit("Save Page"),
635                       $q->end_form,
636                       $q->end_html;
637         }
638         elsif ($do eq 'edit') {
639                 my $content="";
640                 if (exists $pagesources{lc($page)}) {
641                         $content=readfile("$srcdir/$pagesources{lc($page)}");
642                         $content=~s/\n/\r\n/g;
643                 }
644                 $q->param("do", "save");
645                 print $q->header,
646                       $q->start_html("$wikiname: Editing $page"),
647                       $q->h1("$wikiname: Editing $page"),
648                       $q->start_form(-action => $action),
649                       $q->hidden('do'),
650                       $q->hidden('page'),
651                       $q->textarea(-name => 'content',
652                                -default => $content,
653                                -rows => 20,
654                                -columns => 80),
655                       $q->br,
656                       "Optional comment about this change:",
657                       $q->br,
658                       $q->textfield(-name => "comments", -size => 80),
659                       $q->br,
660                       $q->submit("Save Page"),
661                       $q->end_form,
662                       $q->end_html;
663         }
664         elsif ($do eq 'save') {
665                 my $file=$page.$default_pagetype;
666                 my $newfile=1;
667                 if (exists $pagesources{lc($page)}) {
668                         $file=$pagesources{lc($page)};
669                         $newfile=0;
670                 }
671                 
672                 my $content=$q->param('content');
673                 $content=~s/\r\n/\n/g;
674                 $content=~s/\r/\n/g;
675                 writefile("$srcdir/$file", $content);
676                 
677                 my $message="web commit from $ENV{REMOTE_ADDR}";
678                 if (defined $q->param('comments')) {
679                         $message.=": ".$q->param('comments');
680                 }
681                 
682                 if ($svn) {
683                         if ($newfile) {
684                                 rcs_add($file);
685                         }
686                         # presumably the commit will trigger an update
687                         # of the wiki
688                         rcs_commit($message);
689                 }
690                 else {
691                         refresh();
692                 }
693                 
694                 print $q->redirect("$url/".htmlpage($page));
695         }
696         else {
697                 error("unknown do parameter");
698         }
699 }
700
701 my $rebuild=0;
702 my $wrapper=0;
703 if (grep /^-/, @ARGV) {
704         eval {use Getopt::Long};
705         GetOptions(
706                 "wikiname=s" => \$wikiname,
707                 "verbose|v" => \$verbose,
708                 "rebuild" => \$rebuild,
709                 "wrapper" => \$wrapper,
710                 "svn!" => \$svn,
711                 "cgi" => \$cgi,
712                 "url=s" => \$url,
713                 "cgiurl=s" => \$cgiurl,
714         ) || usage();
715 }
716 usage() unless @ARGV == 2;
717 ($srcdir) = possibly_foolish_untaint(shift);
718 ($destdir) = possibly_foolish_untaint(shift);
719
720 if ($cgi && ! length $url) {
721         error("Must specify url to wiki with --url when using --cgi");
722 }
723
724 gen_wrapper($svn, $rebuild) if $wrapper;
725 memoize('pagename');
726 memoize('bestlink');
727 loadindex() unless $rebuild;
728 if ($cgi) {
729         cgi();
730 }
731 else {
732         rcs_update() if $svn;
733         refresh();
734         saveindex();
735 }