]> sipb.mit.edu Git - ikiwiki.git/blob - ikiwiki
dd
[ikiwiki.git] / ikiwiki
1 #!/usr/bin/perl -T
2
3 use warnings;
4 use strict;
5 use File::Find;
6 use Memoize;
7 use File::Spec;
8
9 BEGIN {
10         $blosxom::version="is a proper perl module too much to ask?";
11         do "/usr/bin/markdown";
12 }
13
14 memoize('pagename');
15 memoize('bestlink');
16
17 sub usage {
18         die "usage: ikiwiki [options] source dest\n";
19 }
20
21 my $link=qr/\[\[([^\s]+)\]\]/;
22 my $verbose=0;
23 my $rebuild=0;
24 my $wikiname="wiki";
25 if (grep /^-/, @ARGV) {
26         eval {use Getopt::Long};
27         GetOptions(
28                 "wikiname=s" => \$wikiname,
29                 "verbose|v" => \$verbose,
30                 "rebuild" => \$rebuild,
31         ) || usage();
32 }
33 usage() unless @ARGV == 2;
34 my ($srcdir) = shift =~ /(.*)/; # untaint
35 my ($destdir) = shift =~ /(.*)/; # untaint
36
37 my %links;
38 my %oldlinks;
39 my %oldpagemtime;
40 my %renderedfiles;
41 my %pagesources;
42
43 sub error ($) {
44         die @_;
45 }
46
47 sub debug ($) {
48         print "@_\n" if $verbose;
49 }
50
51 sub mtime ($) {
52         my $page=shift;
53         
54         return (stat($page))[9];
55 }
56
57 sub basename {
58         my $file=shift;
59
60         $file=~s!.*/!!;
61         return $file;
62 }
63
64 sub dirname {
65         my $file=shift;
66
67         $file=~s!/?[^/]+$!!;
68         return $file;
69 }
70
71 sub pagetype ($) {
72         my $page=shift;
73         
74         if ($page =~ /\.mdwn$/) {
75                 return ".mdwn";
76         }
77         else {
78                 return "unknown";
79         }
80 }
81
82 sub pagename ($) {
83         my $file=shift;
84
85         my $type=pagetype($file);
86         my $page=$file;
87         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
88         return $page;
89 }
90
91 sub htmlpage ($) {
92         my $page=shift;
93
94         return $page.".html";
95 }
96
97 sub readpage ($) {
98         my $page=shift;
99
100         local $/=undef;
101         open (PAGE, "$srcdir/$page") || error("failed to read $page: $!");
102         my $ret=<PAGE>;
103         close PAGE;
104         return $ret;
105 }
106
107 sub writepage ($$) {
108         my $page=shift;
109         my $content=shift;
110
111         my $dir=dirname("$destdir/$page");
112         if (! -d $dir) {
113                 my $d="";
114                 foreach my $s (split(m!/+!, $dir)) {
115                         $d.="$s/";
116                         if (! -d $d) {
117                                 mkdir($d) || error("failed to create directory $d: $!");
118                         }
119                 }
120         }
121         
122         open (PAGE, ">$destdir/$page") || error("failed to write $page: $!");
123         print PAGE $content;
124         close PAGE;
125 }
126
127 sub findlinks {
128         my $content=shift;
129
130         my @links;
131         while ($content =~ /$link/g) {
132                 push @links, lc($1);
133         }
134         return @links;
135 }
136
137 # Given a page and the text of a link on the page, determine which existing
138 # page that link best points to. Prefers pages under a subdirectory with
139 # the same name as the source page, failing that goes down the directory tree
140 # to the base looking for matching pages.
141 sub bestlink ($$) {
142         my $page=shift;
143         my $link=lc(shift);
144         
145         my $cwd=$page;
146         do {
147                 my $l=$cwd;
148                 $l.="/" if length $l;
149                 $l.=$link;
150
151                 if (exists $links{$l}) {
152                         #debug("for $page, \"$link\", use $l");
153                         return $l;
154                 }
155         } while $cwd=~s!/?[^/]+$!!;
156
157         #print STDERR "warning: page $page, broken link: $link\n";
158         return "";
159 }
160
161 sub isinlinableimage ($) {
162         my $file=shift;
163         
164         $file=~/\.(png|gif|jpg|jpeg)$/;
165 }
166
167 sub htmllink ($$) {
168         my $page=shift;
169         my $link=shift;
170
171         my $bestlink=bestlink($page, $link);
172
173         return $link if $page eq $bestlink;
174         
175         # TODO BUG: %renderedfiles may not have it, if the linked to page
176         # was also added and isn't yet rendered! Note that this bug is
177         # masked by the bug mentioned below that makes all new files
178         # be rendered twice.
179         if (! grep { $_ eq $bestlink } values %renderedfiles) {
180                 $bestlink=htmlpage($bestlink);
181         }
182         if (! grep { $_ eq $bestlink } values %renderedfiles) {
183                 return "<a href=\"?\">?</a>$link"
184         }
185         
186         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
187         
188         if (isinlinableimage($bestlink)) {
189                 return "<img src=\"$bestlink\">";
190         }
191         return "<a href=\"$bestlink\">$link</a>";
192 }
193
194 sub linkify ($$) {
195         my $content=shift;
196         my $file=shift;
197
198         $content =~ s/$link/htmllink(pagename($file), $1)/eg;
199         
200         return $content;
201 }
202
203 sub htmlize ($$) {
204         my $type=shift;
205         my $content=shift;
206         
207         if ($type eq '.mdwn') {
208                 return Markdown::Markdown($content);
209         }
210         else {
211                 error("htmlization of $type not supported");
212         }
213 }
214
215 sub linkbacks ($$) {
216         my $content=shift;
217         my $page=shift;
218
219         my @links;
220         foreach my $p (keys %links) {
221                 next if bestlink($page, $p) eq $page;
222                 if (grep { length $_ && bestlink($p, $_) eq $page } @{$links{$p}}) {
223                         my $href=File::Spec->abs2rel(htmlpage($p), dirname($page));
224                         
225                         # Trim common dir prefixes from both pages.
226                         my $p_trimmed=$p;
227                         my $page_trimmed=$page;
228                         my $dir;
229                         1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
230                                 defined $dir &&
231                                 $p_trimmed=~s/^\Q$dir\E// &&
232                                 $page_trimmed=~s/^\Q$dir\E//;
233                                        
234                         push @links, "<a href=\"$href\">$p_trimmed</a>";
235                 }
236         }
237
238         $content.="<hr><p>Links: ".join(" ", sort @links)."</p>\n" if @links;
239         return $content;
240 }
241
242 sub finalize ($$) {
243         my $content=shift;
244         my $page=shift;
245
246         my $title=basename($page);
247         $title=~s/_/ /g;
248         
249         my $pagelink="";
250         my $path="";
251         foreach my $dir (reverse split("/", $page)) {
252                 if (length($pagelink)) {
253                         $pagelink="<a href=\"$path$dir.html\">$dir</a>/ $pagelink";
254                 }
255                 else {
256                         $pagelink=$dir;
257                 }
258                 $path.="../";
259         }
260         $path=~s/\.\.\/$/index.html/;
261         $pagelink="<a href=\"$path\">$wikiname</a>/ $pagelink";
262         
263         $content="<html>\n<head><title>$title</title></head>\n<body>\n".
264                   "<h1>$pagelink</h1>\n".
265                   $content.
266                   "</body>\n</html>\n";
267         
268         return $content;
269 }
270
271 sub render ($) {
272         my $file=shift;
273         
274         my $type=pagetype($file);
275         my $content=readpage($file);
276         if ($type ne 'unknown') {
277                 my $page=pagename($file);
278                 
279                 $links{$page}=[findlinks($content)];
280                 
281                 $content=linkify($content, $file);
282                 $content=htmlize($type, $content);
283                 $content=linkbacks($content, $page);
284                 $content=finalize($content, $page);
285                 
286                 writepage(htmlpage($page), $content);
287                 $oldpagemtime{$page}=time;
288                 $renderedfiles{$page}=htmlpage($page);
289         }
290         else {
291                 $links{$file}=[];
292                 writepage($file, $content);
293                 $oldpagemtime{$file}=time;
294                 $renderedfiles{$file}=$file;
295         }
296 }
297
298 sub loadindex () {
299         open (IN, "$srcdir/.index") || return;
300         while (<IN>) {
301                 ($_)=/(.*)/; # untaint
302                 chomp;
303                 my ($mtime, $file, $rendered, @links)=split(' ', $_);
304                 my $page=pagename($file);
305                 $pagesources{$page}=$file;
306                 $oldpagemtime{$page}=$mtime;
307                 $oldlinks{$page}=[@links];
308                 $links{$page}=[@links];
309                 $renderedfiles{$page}=$rendered;
310         }
311         close IN;
312 }       
313
314 sub saveindex () {
315         open (OUT, ">$srcdir/.index") || error("cannot write to .index: $!");
316         foreach my $page (keys %oldpagemtime) {
317         print OUT "$oldpagemtime{$page} $pagesources{$page} $renderedfiles{$page} ".
318                   join(" ", @{$links{$page}})."\n"
319                         if $oldpagemtime{$page};
320         }
321         close OUT;
322 }
323
324 sub prune ($) {
325         my $file=shift;
326
327         unlink($file);
328         my $dir=dirname($file);
329         while (rmdir($dir)) {
330                 $dir=dirname($dir);
331         }
332 }
333
334 sub refresh () {
335         # Find existing pages.
336         my %exists;
337         my @files;
338         find({
339                 no_chdir => 1,
340                 wanted => sub {
341                         if (/\/\.svn\//) {
342                                 $File::Find::prune=1;
343                         }
344                         elsif (! -d $_ && ! /\.html$/ && ! /\/\./) {
345                                 my ($f)=/(^[-A-Za-z0-9_.:\/+]+$)/; # untaint
346                                 if (! defined $f) {
347                                         warn("skipping bad filename $_\n");
348                                 }
349                                 else {
350                                         $f=~s/^\Q$srcdir\E\/?//;
351                                         push @files, $f;
352                                         $exists{pagename($f)}=1;
353                                 }
354                         }
355                 },
356         }, $srcdir);
357
358         my %rendered;
359
360         # check for added or removed pages
361         my @add;
362         foreach my $file (@files) {
363                 my $page=pagename($file);
364                 if (! $oldpagemtime{$page}) {
365                         debug("new page $page");
366                         push @add, $file;
367                         $links{$page}=[];
368                         $pagesources{$page}=$file;
369                 }
370         }
371         my @del;
372         foreach my $page (keys %oldpagemtime) {
373                 if (! $exists{$page}) {
374                         debug("removing old page $page");
375                         push @del, $renderedfiles{$page};
376                         prune($destdir."/".$renderedfiles{$page});
377                         delete $renderedfiles{$page};
378                         $oldpagemtime{$page}=0;
379                         delete $pagesources{$page};
380                 }
381         }
382         
383         # render any updated files
384         foreach my $file (@files) {
385                 my $page=pagename($file);
386                 
387                 if (! exists $oldpagemtime{$page} ||
388                     mtime("$srcdir/$file") > $oldpagemtime{$page}) {
389                         debug("rendering changed file $file");
390                         render($file);
391                         $rendered{$file}=1;
392                 }
393         }
394         
395         # if any files were added or removed, check to see if each page
396         # needs an update due to linking to them
397         # TODO: inefficient; pages may get rendered above and again here;
398         # problem is the bestlink may have changed and we won't know until
399         # now
400         if (@add || @del) {
401 FILE:           foreach my $file (@files) {
402                         my $page=pagename($file);
403                         foreach my $f (@add, @del) {
404                                 my $p=pagename($f);
405                                 foreach my $link (@{$links{$page}}) {
406                                         if (bestlink($page, $link) eq $p) {
407                                                 debug("rendering $file, which links to $p");
408                                                 render($file);
409                                                 $rendered{$file}=1;
410                                                 next FILE;
411                                         }
412                                 }
413                         }
414                 }
415         }
416
417         # handle linkbacks; if a page has added/removed links, update the
418         # pages it links to
419         # TODO: inefficient; pages may get rendered above and again here;
420         # problem is the linkbacks could be wrong in the first pass render
421         # above
422         if (%rendered) {
423                 my %linkchanged;
424                 foreach my $file (keys %rendered, @del) {
425                         my $page=pagename($file);
426                         if (exists $links{$page}) {
427                                 foreach my $link (@{$links{$page}}) {
428                                         $link=bestlink($page, $link);
429                                         if (length $link &&
430                                             ! exists $oldlinks{$page} ||
431                                             ! grep { $_ eq $link } @{$oldlinks{$page}}) {
432                                                 $linkchanged{$link}=1;
433                                         }
434                                 }
435                         }
436                         if (exists $oldlinks{$page}) {
437                                 foreach my $link (@{$oldlinks{$page}}) {
438                                         $link=bestlink($page, $link);
439                                         if (length $link &&
440                                             ! exists $links{$page} ||
441                                             ! grep { $_ eq $link } @{$links{$page}}) {
442                                                 $linkchanged{$link}=1;
443                                         }
444                                 }
445                         }
446                 }
447                 foreach my $link (keys %linkchanged) {
448                         my $linkfile=$pagesources{$link};
449                         if (defined $linkfile) {
450                                 debug("rendering $linkfile, to update its linkbacks");
451                                 render($linkfile);
452                         }
453                 }
454         }
455 }
456
457 loadindex() unless $rebuild;
458 refresh();
459 saveindex();