* Make pagespec merge code smarter about merging duplicate pagespecs.
[ikiwiki.git] / IkiWiki.pm
1 #!/usr/bin/perl
2
3 package IkiWiki;
4 use warnings;
5 use strict;
6 use Encode;
7 use HTML::Entities;
8 use open qw{:utf8 :std};
9
10 # Optimisation.
11 use Memoize;
12 memoize("abs2rel");
13 memoize("pagespec_translate");
14
15 use vars qw{%config %links %oldlinks %oldpagemtime %pagectime %pagecase
16             %renderedfiles %pagesources %depends %hooks %forcerebuild};
17
18 sub defaultconfig () { #{{{
19         wiki_file_prune_regexp => qr{((^|/).svn/|\.\.|^\.|\/\.|\.x?html?$|\.rss$)},
20         wiki_link_regexp => qr/\[\[(?:([^\]\|]+)\|)?([^\s\]]+)\]\]/,
21         wiki_file_regexp => qr/(^[-[:alnum:]_.:\/+]+$)/,
22         verbose => 0,
23         syslog => 0,
24         wikiname => "wiki",
25         default_pageext => "mdwn",
26         cgi => 0,
27         rcs => 'svn',
28         notify => 0,
29         url => '',
30         cgiurl => '',
31         historyurl => '',
32         diffurl => '',
33         anonok => 0,
34         rss => 0,
35         discussion => 1,
36         rebuild => 0,
37         refresh => 0,
38         getctime => 0,
39         w3mmode => 0,
40         wrapper => undef,
41         wrappermode => undef,
42         svnrepo => undef,
43         svnpath => "trunk",
44         srcdir => undef,
45         destdir => undef,
46         pingurl => [],
47         templatedir => "/usr/share/ikiwiki/templates",
48         underlaydir => "/usr/share/ikiwiki/basewiki",
49         setup => undef,
50         adminuser => undef,
51         adminemail => undef,
52         plugin => [qw{mdwn inline htmlscrubber}],
53         timeformat => '%c',
54         locale => undef,
55 } #}}}
56    
57 sub checkconfig () { #{{{
58         # locale stuff; avoid LC_ALL since it overrides everything
59         if (defined $ENV{LC_ALL}) {
60                 $ENV{LANG} = $ENV{LC_ALL};
61                 delete $ENV{LC_ALL};
62         }
63         if (defined $config{locale}) {
64                 eval q{use POSIX};
65                 $ENV{LANG} = $config{locale}
66                         if POSIX::setlocale(&POSIX::LC_TIME, $config{locale});
67         }
68
69         if ($config{w3mmode}) {
70                 eval q{use Cwd q{abs_path}};
71                 $config{srcdir}=possibly_foolish_untaint(abs_path($config{srcdir}));
72                 $config{destdir}=possibly_foolish_untaint(abs_path($config{destdir}));
73                 $config{cgiurl}="file:///\$LIB/ikiwiki-w3m.cgi/".$config{cgiurl}
74                         unless $config{cgiurl} =~ m!file:///!;
75                 $config{url}="file://".$config{destdir};
76         }
77
78         if ($config{cgi} && ! length $config{url}) {
79                 error("Must specify url to wiki with --url when using --cgi\n");
80         }
81         if ($config{rss} && ! length $config{url}) {
82                 error("Must specify url to wiki with --url when using --rss\n");
83         }
84         
85         $config{wikistatedir}="$config{srcdir}/.ikiwiki"
86                 unless exists $config{wikistatedir};
87         
88         if ($config{rcs}) {
89                 eval qq{require IkiWiki::Rcs::$config{rcs}};
90                 if ($@) {
91                         error("Failed to load RCS module IkiWiki::Rcs::$config{rcs}: $@");
92                 }
93         }
94         else {
95                 require IkiWiki::Rcs::Stub;
96         }
97
98         run_hooks(checkconfig => sub { shift->() });
99 } #}}}
100
101 sub loadplugins () { #{{{
102         foreach my $plugin (@{$config{plugin}}) {
103                 my $mod="IkiWiki::Plugin::".possibly_foolish_untaint($plugin);
104                 eval qq{use $mod};
105                 if ($@) {
106                         error("Failed to load plugin $mod: $@");
107                 }
108         }
109         run_hooks(getopt => sub { shift->() });
110         if (grep /^-/, @ARGV) {
111                 print STDERR "Unknown option: $_\n"
112                         foreach grep /^-/, @ARGV;
113                 usage();
114         }
115 } #}}}
116
117 sub error ($) { #{{{
118         if ($config{cgi}) {
119                 print "Content-type: text/html\n\n";
120                 print misctemplate("Error", "<p>Error: @_</p>");
121         }
122         log_message(error => @_);
123         exit(1);
124 } #}}}
125
126 sub debug ($) { #{{{
127         return unless $config{verbose};
128         log_message(debug => @_);
129 } #}}}
130
131 my $log_open=0;
132 sub log_message ($$) { #{{{
133         my $type=shift;
134
135         if ($config{syslog}) {
136                 require Sys::Syslog;
137                 unless ($log_open) {
138                         Sys::Syslog::setlogsock('unix');
139                         Sys::Syslog::openlog('ikiwiki', '', 'user');
140                         $log_open=1;
141                 }
142                 eval {
143                         Sys::Syslog::syslog($type, join(" ", @_));
144                 }
145         }
146         elsif (! $config{cgi}) {
147                 print "@_\n";
148         }
149         else {
150                 print STDERR "@_\n";
151         }
152 } #}}}
153
154 sub possibly_foolish_untaint ($) { #{{{
155         my $tainted=shift;
156         my ($untainted)=$tainted=~/(.*)/;
157         return $untainted;
158 } #}}}
159
160 sub basename ($) { #{{{
161         my $file=shift;
162
163         $file=~s!.*/+!!;
164         return $file;
165 } #}}}
166
167 sub dirname ($) { #{{{
168         my $file=shift;
169
170         $file=~s!/*[^/]+$!!;
171         return $file;
172 } #}}}
173
174 sub pagetype ($) { #{{{
175         my $page=shift;
176         
177         if ($page =~ /\.([^.]+)$/) {
178                 return $1 if exists $hooks{htmlize}{$1};
179         }
180         return undef;
181 } #}}}
182
183 sub pagename ($) { #{{{
184         my $file=shift;
185
186         my $type=pagetype($file);
187         my $page=$file;
188         $page=~s/\Q.$type\E*$// if defined $type;
189         return $page;
190 } #}}}
191
192 sub htmlpage ($) { #{{{
193         my $page=shift;
194
195         return $page.".html";
196 } #}}}
197
198 sub srcfile ($) { #{{{
199         my $file=shift;
200
201         return "$config{srcdir}/$file" if -e "$config{srcdir}/$file";
202         return "$config{underlaydir}/$file" if -e "$config{underlaydir}/$file";
203         error("internal error: $file cannot be found");
204 } #}}}
205
206 sub readfile ($;$) { #{{{
207         my $file=shift;
208         my $binary=shift;
209
210         if (-l $file) {
211                 error("cannot read a symlink ($file)");
212         }
213         
214         local $/=undef;
215         open (IN, $file) || error("failed to read $file: $!");
216         binmode(IN) if ($binary);
217         my $ret=<IN>;
218         close IN;
219         return $ret;
220 } #}}}
221
222 sub writefile ($$$;$) { #{{{
223         my $file=shift; # can include subdirs
224         my $destdir=shift; # directory to put file in
225         my $content=shift;
226         my $binary=shift;
227         
228         my $test=$file;
229         while (length $test) {
230                 if (-l "$destdir/$test") {
231                         error("cannot write to a symlink ($test)");
232                 }
233                 $test=dirname($test);
234         }
235
236         my $dir=dirname("$destdir/$file");
237         if (! -d $dir) {
238                 my $d="";
239                 foreach my $s (split(m!/+!, $dir)) {
240                         $d.="$s/";
241                         if (! -d $d) {
242                                 mkdir($d) || error("failed to create directory $d: $!");
243                         }
244                 }
245         }
246         
247         open (OUT, ">$destdir/$file") || error("failed to write $destdir/$file: $!");
248         binmode(OUT) if ($binary);
249         print OUT $content;
250         close OUT;
251 } #}}}
252
253 sub bestlink ($$) { #{{{
254         # Given a page and the text of a link on the page, determine which
255         # existing page that link best points to. Prefers pages under a
256         # subdirectory with the same name as the source page, failing that
257         # goes down the directory tree to the base looking for matching
258         # pages.
259         my $page=shift;
260         my $link=shift;
261         
262         my $cwd=$page;
263         do {
264                 my $l=$cwd;
265                 $l.="/" if length $l;
266                 $l.=$link;
267
268                 if (exists $links{$l}) {
269                         return $l;
270                 }
271                 elsif (exists $pagecase{lc $l}) {
272                         return $pagecase{lc $l};
273                 }
274         } while $cwd=~s!/?[^/]+$!!;
275
276         #print STDERR "warning: page $page, broken link: $link\n";
277         return "";
278 } #}}}
279
280 sub isinlinableimage ($) { #{{{
281         my $file=shift;
282         
283         $file=~/\.(png|gif|jpg|jpeg)$/i;
284 } #}}}
285
286 sub pagetitle ($) { #{{{
287         my $page=shift;
288         $page=~s/__(\d+)__/&#$1;/g;
289         $page=~y/_/ /;
290         return $page;
291 } #}}}
292
293 sub titlepage ($) { #{{{
294         my $title=shift;
295         $title=~y/ /_/;
296         $title=~s/([^-[:alnum:]_:+\/.])/"__".ord($1)."__"/eg;
297         return $title;
298 } #}}}
299
300 sub cgiurl (@) { #{{{
301         my %params=@_;
302
303         return $config{cgiurl}."?".join("&amp;", map "$_=$params{$_}", keys %params);
304 } #}}}
305
306 sub baseurl (;$) { #{{{
307         my $page=shift;
308
309         return "$config{url}/" if ! defined $page;
310         
311         $page=~s/[^\/]+$//;
312         $page=~s/[^\/]+\//..\//g;
313         return $page;
314 } #}}}
315
316 sub abs2rel ($$) { #{{{
317         # Work around very innefficient behavior in File::Spec if abs2rel
318         # is passed two relative paths. It's much faster if paths are
319         # absolute!
320         my $path="/".shift;
321         my $base="/".shift;
322
323         require File::Spec;
324         my $ret=File::Spec->abs2rel($path, $base);
325         $ret=~s/^// if defined $ret;
326         return $ret;
327 } #}}}
328
329 sub htmllink ($$$;$$$) { #{{{
330         my $lpage=shift; # the page doing the linking
331         my $page=shift; # the page that will contain the link (different for inline)
332         my $link=shift;
333         my $noimageinline=shift; # don't turn links into inline html images
334         my $forcesubpage=shift; # force a link to a subpage
335         my $linktext=shift; # set to force the link text to something
336
337         my $bestlink;
338         if (! $forcesubpage) {
339                 $bestlink=bestlink($lpage, $link);
340         }
341         else {
342                 $bestlink="$lpage/".lc($link);
343         }
344
345         $linktext=pagetitle(basename($link)) unless defined $linktext;
346         
347         return "<span class=\"selflink\">$linktext</span>"
348                 if length $bestlink && $page eq $bestlink;
349         
350         # TODO BUG: %renderedfiles may not have it, if the linked to page
351         # was also added and isn't yet rendered! Note that this bug is
352         # masked by the bug that makes all new files be rendered twice.
353         if (! grep { $_ eq $bestlink } values %renderedfiles) {
354                 $bestlink=htmlpage($bestlink);
355         }
356         if (! grep { $_ eq $bestlink } values %renderedfiles) {
357                 return "<span><a href=\"".
358                         cgiurl(do => "create", page => lc($link), from => $page).
359                         "\">?</a>$linktext</span>"
360         }
361         
362         $bestlink=abs2rel($bestlink, dirname($page));
363         
364         if (! $noimageinline && isinlinableimage($bestlink)) {
365                 return "<img src=\"$bestlink\" alt=\"$linktext\" />";
366         }
367         return "<a href=\"$bestlink\">$linktext</a>";
368 } #}}}
369
370 sub indexlink () { #{{{
371         return "<a href=\"$config{url}\">$config{wikiname}</a>";
372 } #}}}
373
374 sub lockwiki () { #{{{
375         # Take an exclusive lock on the wiki to prevent multiple concurrent
376         # run issues. The lock will be dropped on program exit.
377         if (! -d $config{wikistatedir}) {
378                 mkdir($config{wikistatedir});
379         }
380         open(WIKILOCK, ">$config{wikistatedir}/lockfile") ||
381                 error ("cannot write to $config{wikistatedir}/lockfile: $!");
382         if (! flock(WIKILOCK, 2 | 4)) {
383                 debug("wiki seems to be locked, waiting for lock");
384                 my $wait=600; # arbitrary, but don't hang forever to 
385                               # prevent process pileup
386                 for (1..600) {
387                         return if flock(WIKILOCK, 2 | 4);
388                         sleep 1;
389                 }
390                 error("wiki is locked; waited $wait seconds without lock being freed (possible stuck process or stale lock?)");
391         }
392 } #}}}
393
394 sub unlockwiki () { #{{{
395         close WIKILOCK;
396 } #}}}
397
398 sub loadindex () { #{{{
399         open (IN, "$config{wikistatedir}/index") || return;
400         while (<IN>) {
401                 $_=possibly_foolish_untaint($_);
402                 chomp;
403                 my %items;
404                 $items{link}=[];
405                 foreach my $i (split(/ /, $_)) {
406                         my ($item, $val)=split(/=/, $i, 2);
407                         push @{$items{$item}}, decode_entities($val);
408                 }
409
410                 next unless exists $items{src}; # skip bad lines for now
411
412                 my $page=pagename($items{src}[0]);
413                 if (! $config{rebuild}) {
414                         $pagesources{$page}=$items{src}[0];
415                         $oldpagemtime{$page}=$items{mtime}[0];
416                         $oldlinks{$page}=[@{$items{link}}];
417                         $links{$page}=[@{$items{link}}];
418                         $depends{$page}=$items{depends}[0] if exists $items{depends};
419                         $renderedfiles{$page}=$items{dest}[0];
420                         $pagecase{lc $page}=$page;
421                 }
422                 $pagectime{$page}=$items{ctime}[0];
423         }
424         close IN;
425 } #}}}
426
427 sub saveindex () { #{{{
428         run_hooks(savestate => sub { shift->() });
429
430         if (! -d $config{wikistatedir}) {
431                 mkdir($config{wikistatedir});
432         }
433         open (OUT, ">$config{wikistatedir}/index") || 
434                 error("cannot write to $config{wikistatedir}/index: $!");
435         foreach my $page (keys %oldpagemtime) {
436                 next unless $oldpagemtime{$page};
437                 my $line="mtime=$oldpagemtime{$page} ".
438                         "ctime=$pagectime{$page} ".
439                         "src=$pagesources{$page} ".
440                         "dest=$renderedfiles{$page}";
441                 $line.=" link=$_" foreach @{$links{$page}};
442                 if (exists $depends{$page}) {
443                         $line.=" depends=".encode_entities($depends{$page}, " \t\n");
444                 }
445                 print OUT $line."\n";
446         }
447         close OUT;
448 } #}}}
449
450 sub template_params (@) { #{{{
451         my $filename=shift;
452         
453         require HTML::Template;
454         return filter => sub {
455                         my $text_ref = shift;
456                         $$text_ref=&Encode::decode_utf8($$text_ref);
457                 },
458                 filename => "$config{templatedir}/$filename",
459                 loop_context_vars => 1,
460                 die_on_bad_params => 0,
461                 @_;
462 } #}}}
463
464 sub template ($;@) { #{{{
465         HTML::Template->new(template_params(@_));
466 } #}}}
467
468 sub misctemplate ($$) { #{{{
469         my $title=shift;
470         my $pagebody=shift;
471         
472         my $template=template("misc.tmpl");
473         $template->param(
474                 title => $title,
475                 indexlink => indexlink(),
476                 wikiname => $config{wikiname},
477                 pagebody => $pagebody,
478                 baseurl => baseurl(),
479         );
480         return $template->output;
481 }#}}}
482
483 sub hook (@) { # {{{
484         my %param=@_;
485         
486         if (! exists $param{type} || ! ref $param{call} || ! exists $param{id}) {
487                 error "hook requires type, call, and id parameters";
488         }
489         
490         $hooks{$param{type}}{$param{id}}=\%param;
491 } # }}}
492
493 sub run_hooks ($$) { # {{{
494         # Calls the given sub for each hook of the given type,
495         # passing it the hook function to call.
496         my $type=shift;
497         my $sub=shift;
498
499         if (exists $hooks{$type}) {
500                 foreach my $id (keys %{$hooks{$type}}) {
501                         $sub->($hooks{$type}{$id}{call});
502                 }
503         }
504 } #}}}
505
506 sub globlist_to_pagespec ($) { #{{{
507         my @globlist=split(' ', shift);
508
509         my (@spec, @skip);
510         foreach my $glob (@globlist) {
511                 if ($glob=~/^!(.*)/) {
512                         push @skip, $glob;
513                 }
514                 else {
515                         push @spec, $glob;
516                 }
517         }
518
519         my $spec=join(" or ", @spec);
520         if (@skip) {
521                 my $skip=join(" and ", @skip);
522                 if (length $spec) {
523                         $spec="$skip and ($spec)";
524                 }
525                 else {
526                         $spec=$skip;
527                 }
528         }
529         return $spec;
530 } #}}}
531
532 sub is_globlist ($) { #{{{
533         my $s=shift;
534         $s=~/[^\s]+\s+([^\s]+)/ && $1 ne "and" && $1 ne "or";
535 } #}}}
536
537 sub safequote ($) { #{{{
538         my $s=shift;
539         $s=~s/[{}]//g;
540         return "q{$s}";
541 } #}}}
542
543 sub pagespec_merge ($$) { #{{{
544         my $a=shift;
545         my $b=shift;
546
547         return $a if $a eq $b;
548
549         # Support for old-style GlobLists.
550         if (is_globlist($a)) {
551                 $a=globlist_to_pagespec($a);
552         }
553         if (is_globlist($b)) {
554                 $b=globlist_to_pagespec($b);
555         }
556
557         return "($a) or ($b)";
558 } #}}}
559
560 sub pagespec_translate ($) { #{{{
561         # This assumes that $page is in scope in the function
562         # that evalulates the translated pagespec code.
563         my $spec=shift;
564
565         # Support for old-style GlobLists.
566         if (is_globlist($spec)) {
567                 $spec=globlist_to_pagespec($spec);
568         }
569
570         # Convert spec to perl code.
571         my $code="";
572         while ($spec=~m/\s*(\!|\(|\)|\w+\([^\)]+\)|[^\s()]+)\s*/ig) {
573                 my $word=$1;
574                 if (lc $word eq "and") {
575                         $code.=" &&";
576                 }
577                 elsif (lc $word eq "or") {
578                         $code.=" ||";
579                 }
580                 elsif ($word eq "(" || $word eq ")" || $word eq "!") {
581                         $code.=" ".$word;
582                 }
583                 elsif ($word =~ /^(link|backlink|created_before|created_after|creation_month|creation_year|creation_day)\((.+)\)$/) {
584                         $code.=" match_$1(\$page, ".safequote($2).")";
585                 }
586                 else {
587                         $code.=" match_glob(\$page, ".safequote($word).")";
588                 }
589         }
590
591         return $code;
592 } #}}}
593
594 sub pagespec_match ($$) { #{{{
595         my $page=shift;
596         my $spec=shift;
597
598         return eval pagespec_translate($spec);
599 } #}}}
600
601 sub match_glob ($$) { #{{{
602         my $page=shift;
603         my $glob=shift;
604
605         # turn glob into safe regexp
606         $glob=quotemeta($glob);
607         $glob=~s/\\\*/.*/g;
608         $glob=~s/\\\?/./g;
609
610         return $page=~/^$glob$/i;
611 } #}}}
612
613 sub match_link ($$) { #{{{
614         my $page=shift;
615         my $link=lc(shift);
616
617         my $links = $links{$page} or return undef;
618         foreach my $p (@$links) {
619                 return 1 if lc $p eq $link;
620         }
621         return 0;
622 } #}}}
623
624 sub match_backlink ($$) { #{{{
625         match_link(pop, pop);
626 } #}}}
627
628 sub match_created_before ($$) { #{{{
629         my $page=shift;
630         my $testpage=shift;
631
632         if (exists $pagectime{$testpage}) {
633                 return $pagectime{$page} < $pagectime{$testpage};
634         }
635         else {
636                 return 0;
637         }
638 } #}}}
639
640 sub match_created_after ($$) { #{{{
641         my $page=shift;
642         my $testpage=shift;
643
644         if (exists $pagectime{$testpage}) {
645                 return $pagectime{$page} > $pagectime{$testpage};
646         }
647         else {
648                 return 0;
649         }
650 } #}}}
651
652 sub match_creation_day ($$) { #{{{
653         return ((gmtime($pagectime{shift()}))[3] == shift);
654 } #}}}
655
656 sub match_creation_month ($$) { #{{{
657         return ((gmtime($pagectime{shift()}))[4] + 1 == shift);
658 } #}}}
659
660 sub match_creation_year ($$) { #{{{
661         return ((gmtime($pagectime{shift()}))[5] + 1900 == shift);
662 } #}}}
663
664 1