po plugin(filter): redesign temp file management
[ikiwiki.git] / IkiWiki / Plugin / po.pm
1 #!/usr/bin/perl
2 # .po as a wiki page type
3 # inspired by the GPL'd po4a-translate,
4 # which is Copyright 2002, 2003, 2004 by Martin Quinson (mquinson#debian.org)
5 package IkiWiki::Plugin::po;
6
7 use warnings;
8 use strict;
9 use IkiWiki 2.00;
10 use Encode;
11 use Locale::Po4a::Chooser;
12 use Locale::Po4a::Po;
13 use File::Basename;
14 use File::Copy;
15 use File::Spec;
16 use File::Temp;
17 use Memoize;
18
19 my %translations;
20 our %filtered;
21
22 memoize("_istranslation");
23 memoize("percenttranslated");
24 # FIXME: memoizing istranslatable() makes some test cases fail once every
25 # two tries; this may be related to the artificial way the testsuite is
26 # run, or not.
27 # memoize("istranslatable");
28
29 # backup references to subs that will be overriden
30 my %origsubs;
31 $origsubs{'bestlink'}=\&IkiWiki::bestlink;
32 $origsubs{'beautify_urlpath'}=\&IkiWiki::beautify_urlpath;
33 $origsubs{'targetpage'}=\&IkiWiki::targetpage;
34
35 sub import {
36         hook(type => "getsetup", id => "po", call => \&getsetup);
37         hook(type => "checkconfig", id => "po", call => \&checkconfig);
38         hook(type => "needsbuild", id => "po", call => \&needsbuild);
39         hook(type => "filter", id => "po", call => \&filter);
40         hook(type => "htmlize", id => "po", call => \&htmlize);
41         hook(type => "pagetemplate", id => "po", call => \&pagetemplate, last => 1);
42         hook(type => "editcontent", id => "po", call => \&editcontent);
43         inject(name => "IkiWiki::bestlink", call => \&mybestlink);
44         inject(name => "IkiWiki::beautify_urlpath", call => \&mybeautify_urlpath);
45         inject(name => "IkiWiki::targetpage", call => \&mytargetpage);
46 }
47
48 sub getsetup () { #{{{
49         return
50                 plugin => {
51                         safe => 0,
52                         rebuild => 1, # format plugin
53                 },
54                 po_master_language => {
55                         type => "string",
56                         example => {
57                                 'code' => 'en',
58                                 'name' => 'English'
59                         },
60                         description => "master language (non-PO files)",
61                         safe => 0,
62                         rebuild => 1,
63                 },
64                 po_slave_languages => {
65                         type => "string",
66                         example => {
67                                 'fr' => 'Fran├žais',
68                                 'es' => 'Castellano',
69                                 'de' => 'Deutsch'
70                         },
71                         description => "slave languages (PO files)",
72                         safe => 0,
73                         rebuild => 1,
74                 },
75                 po_translatable_pages => {
76                         type => "pagespec",
77                         example => "!*/Discussion",
78                         description => "PageSpec controlling which pages are translatable",
79                         link => "ikiwiki/PageSpec",
80                         safe => 0,
81                         rebuild => 1,
82                 },
83                 po_link_to => {
84                         type => "string",
85                         example => "current",
86                         description => "internal linking behavior (default/current/negotiated)",
87                         safe => 0,
88                         rebuild => 1,
89                 },
90 } #}}}
91
92 sub checkconfig () { #{{{
93         foreach my $field (qw{po_master_language po_slave_languages}) {
94                 if (! exists $config{$field} || ! defined $config{$field}) {
95                         error(sprintf(gettext("Must specify %s"), $field));
96                 }
97         }
98         if (! exists $config{po_link_to} ||
99             ! defined $config{po_link_to}) {
100             $config{po_link_to}="default";
101         }
102         if (! exists $config{po_translatable_pages} ||
103             ! defined $config{po_translatable_pages}) {
104             $config{po_translatable_pages}="";
105         }
106         if ($config{po_link_to} eq "negotiated" && ! $config{usedirs}) {
107                 error(gettext("po_link_to=negotiated requires usedirs to be set"));
108         }
109         push @{$config{wiki_file_prune_regexps}}, qr/\.pot$/;
110 } #}}}
111
112 sub potfile ($) { #{{{
113         my $masterfile=shift;
114         (my $name, my $dir, my $suffix) = fileparse($masterfile, qr/\.[^.]*/);
115         $dir='' if $dir eq './';
116         return File::Spec->catpath('', $dir, $name . ".pot");
117 } #}}}
118
119 sub pofile ($$) { #{{{
120         my $masterfile=shift;
121         my $lang=shift;
122         (my $name, my $dir, my $suffix) = fileparse($masterfile, qr/\.[^.]*/);
123         $dir='' if $dir eq './';
124         return File::Spec->catpath('', $dir, $name . "." . $lang . ".po");
125 } #}}}
126
127 sub refreshpot ($) { #{{{
128         my $masterfile=shift;
129         my $potfile=potfile($masterfile);
130         my %options = ("markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0);
131         my $doc=Locale::Po4a::Chooser::new('text',%options);
132         $doc->read($masterfile);
133         $doc->{TT}{utf_mode} = 1;
134         $doc->{TT}{file_in_charset} = 'utf-8';
135         $doc->{TT}{file_out_charset} = 'utf-8';
136         # let's cheat a bit to force porefs option to be passed to Locale::Po4a::Po;
137         # this is undocument use of internal Locale::Po4a::TransTractor's data,
138         # compulsory since this module prevents us from using the porefs option.
139         my %po_options = ('porefs' => 'none');
140         $doc->{TT}{po_out}=Locale::Po4a::Po->new(\%po_options);
141         $doc->{TT}{po_out}->set_charset('utf-8');
142         # do the actual work
143         $doc->parse;
144         $doc->writepo($potfile);
145 } #}}}
146
147 sub refreshpofiles ($@) { #{{{
148         my $masterfile=shift;
149         my @pofiles=@_;
150
151         my $potfile=potfile($masterfile);
152         error("[po/refreshpofiles] POT file ($potfile) does not exist") unless (-e $potfile);
153
154         foreach my $pofile (@pofiles) {
155                 if (-e $pofile) {
156                         my $cmd = "msgmerge -U --backup=none $pofile $potfile";
157                         system ($cmd) == 0
158                                 or error("[po/refreshpofiles:$pofile] failed to update");
159                 }
160                 else {
161                         File::Copy::syscopy($potfile,$pofile)
162                                 or error("[po/refreshpofiles:$pofile] failed to copy the POT file");
163                 }
164         }
165 } #}}}
166
167 sub needsbuild () { #{{{
168         my $needsbuild=shift;
169
170         # build %translations, using istranslation's side-effect
171         foreach my $page (keys %pagesources) {
172                 istranslation($page);
173         }
174
175         # refresh/create POT and PO files as needed
176         my $updated_po_files=0;
177         foreach my $page (keys %pagesources) {
178                 if (istranslatable($page)) {
179                         my $pageneedsbuild = grep { $_ eq $pagesources{$page} } @$needsbuild;
180                         my $updated_pot_file=0;
181                         my $file=srcfile($pagesources{$page});
182                         if ($pageneedsbuild || ! -e potfile($file)) {
183                                 refreshpot($file);
184                                 $updated_pot_file=1;
185                         }
186                         my @pofiles;
187                         foreach my $lang (keys %{$config{po_slave_languages}}) {
188                                 my $pofile=pofile($file, $lang);
189                                 my $pofile_rel=pofile($pagesources{$page}, $lang);
190                                 if ($pageneedsbuild || $updated_pot_file || ! -e $pofile) {
191                                         push @pofiles, $pofile;
192                                         push @$needsbuild, $pofile_rel
193                                           unless grep { $_ eq $pofile_rel } @$needsbuild;
194                                 }
195                         }
196                         if (@pofiles) {
197                                 refreshpofiles($file, @pofiles) ;
198                                 map { IkiWiki::rcs_add($_); } @pofiles if ($config{rcs});
199                                 $updated_po_files = 1;
200                         }
201                 }
202         }
203
204         # check staged changes in
205         if ($updated_po_files) {
206                 if ($config{rcs}) {
207                         IkiWiki::disable_commit_hook();
208                         IkiWiki::rcs_commit_staged(gettext("updated PO files"),
209                                 "refreshpofiles", "127.0.0.1");
210                         IkiWiki::enable_commit_hook();
211                         IkiWiki::rcs_update();
212                 }
213                 # refresh module's private variables
214                 undef %filtered;
215                 undef %translations;
216                 foreach my $page (keys %pagesources) {
217                         istranslation($page);
218                 }
219         }
220
221         # make existing translations depend on the corresponding master page
222         foreach my $master (keys %translations) {
223                 foreach my $slave (values %{$translations{$master}}) {
224                         add_depends($slave, $master);
225                 }
226         }
227 } #}}}
228
229 sub mytargetpage ($$) { #{{{
230         my $page=shift;
231         my $ext=shift;
232
233         if (istranslation($page)) {
234                 my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
235                 if (! $config{usedirs} || $masterpage eq 'index') {
236                         return $masterpage . "." . $lang . "." . $ext;
237                 }
238                 else {
239                         return $masterpage . "/index." . $lang . "." . $ext;
240                 }
241         }
242         elsif (istranslatable($page)) {
243                 if (! $config{usedirs} || $page eq 'index') {
244                         return $page . "." . $config{po_master_language}{code} . "." . $ext;
245                 }
246                 else {
247                         return $page . "/index." . $config{po_master_language}{code} . "." . $ext;
248                 }
249         }
250         return $origsubs{'targetpage'}->($page, $ext);
251 } #}}}
252
253 sub mybeautify_urlpath ($) { #{{{
254         my $url=shift;
255         my $res=$origsubs{'beautify_urlpath'}->($url);
256         if ($config{po_link_to} eq "negotiated") {
257                 $res =~ s!/index.$config{po_master_language}{code}.$config{htmlext}$!/!;
258         }
259         return $res;
260 } #}}}
261
262 sub urlto_with_orig_beautiful_urlpath($$) { #{{{
263         my $to=shift;
264         my $from=shift;
265
266         inject(name => "IkiWiki::beautify_urlpath", call => $origsubs{'beautify_urlpath'});
267         my $res=urlto($to, $from);
268         inject(name => "IkiWiki::beautify_urlpath", call => \&mybeautify_urlpath);
269
270         return $res;
271 } #}}}
272
273 sub mybestlink ($$) { #{{{
274         my $page=shift;
275         my $link=shift;
276         my $res=$origsubs{'bestlink'}->($page, $link);
277         if (length $res) {
278                 if ($config{po_link_to} eq "current"
279                     && istranslatable($res)
280                     && istranslation($page)) {
281                         my ($masterpage, $curlang) = ($page =~ /(.*)[.]([a-z]{2})$/);
282                         return $res . "." . $curlang;
283                 }
284                 else {
285                         return $res;
286                 }
287         }
288         return "";
289 } #}}}
290
291 # We use filter to convert PO to the master page's format,
292 # since the rest of ikiwiki should not work on PO files.
293 sub filter (@) { #{{{
294         my %params = @_;
295         my $page = $params{page};
296         my $destpage = $params{destpage};
297         my $content = decode_utf8(encode_utf8($params{content}));
298
299         return $content if ( ! istranslation($page)
300                              || ( exists $filtered{$page}{$destpage}
301                                   && $filtered{$page}{$destpage} eq 1 ));
302
303         # CRLF line terminators make poor Locale::Po4a feel bad
304         $content=~s/\r\n/\n/g;
305
306         # Implementation notes
307         #
308         # 1. Locale::Po4a reads/writes from/to files, and I'm too lazy
309         #    to learn how to disguise a variable as a file.
310         # 2. There are incompatibilities between some File::Temp versions
311         #    (including 0.18, bundled with Lenny's perl-modules package)
312         #    and others (e.g. 0.20, previously present in the archive as
313         #    a standalone package): under certain circumstances, some
314         #    return a relative filename, whereas others return an absolute one;
315         #    we here use this module in a way that is at least compatible
316         #    with 0.18 and 0.20. Beware, hit'n'run refactorers!
317         my $infile = new File::Temp(TEMPLATE => "ikiwiki-po-filter-in.XXXXXXXXXX",
318                                     DIR => File::Spec->tmpdir,
319                                     UNLINK => 1)->filename;
320         my $outfile = new File::Temp(TEMPLATE => "ikiwiki-po-filter-out.XXXXXXXXXX",
321                                      DIR => File::Spec->tmpdir,
322                                      UNLINK => 1)->filename;
323
324         writefile(basename($infile), File::Spec->tmpdir, $content);
325
326         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
327         my $masterfile = srcfile($pagesources{$masterpage});
328         my (@pos,@masters);
329         push @pos,$infile;
330         push @masters,$masterfile;
331         my %options = (
332                         "markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0,
333                         );
334         my $doc=Locale::Po4a::Chooser::new('text',%options);
335         $doc->process(
336                 'po_in_name'    => \@pos,
337                 'file_in_name'  => \@masters,
338                 'file_in_charset'  => 'utf-8',
339                 'file_out_charset' => 'utf-8',
340         ) or error("[po/filter:$infile]: failed to translate");
341         $doc->write($outfile) or error("[po/filter:$infile] could not write $outfile");
342         $content = readfile($outfile) or error("[po/filter:$infile] could not read $outfile");
343
344         # Unlinking should happen automatically, thanks to File::Temp,
345         # but it does not work here, probably because of the way writefile()
346         # and Locale::Po4a::write() work.
347         unlink $infile, $outfile;
348
349         $filtered{$page}{$destpage}=1;
350         return $content;
351 } #}}}
352
353 sub htmlize (@) { #{{{
354         my %params=@_;
355         my $page = $params{page};
356         my $content = $params{content};
357         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
358         my $masterfile = srcfile($pagesources{$masterpage});
359
360         # force content to be htmlize'd as if it was the same type as the master page
361         return IkiWiki::htmlize($page, $page, pagetype($masterfile), $content);
362 } #}}}
363
364 sub percenttranslated ($) { #{{{
365         my $page=shift;
366         return "N/A" unless (istranslation($page));
367         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
368         my $file=srcfile($pagesources{$page});
369         my $masterfile = srcfile($pagesources{$masterpage});
370         my (@pos,@masters);
371         push @pos,$file;
372         push @masters,$masterfile;
373         my %options = (
374                         "markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0,
375                         );
376         my $doc=Locale::Po4a::Chooser::new('text',%options);
377         $doc->process(
378                 'po_in_name'    => \@pos,
379                 'file_in_name'  => \@masters,
380                 'file_in_charset'  => 'utf-8',
381                 'file_out_charset' => 'utf-8',
382         ) or error("[po/percenttranslated:$file]: failed to translate");
383         my ($percent,$hit,$queries) = $doc->stats();
384         return $percent;
385 } #}}}
386
387 sub otherlanguages ($) { #{{{
388         my $page=shift;
389         my @ret;
390         if (istranslatable($page)) {
391                 foreach my $lang (sort keys %{$translations{$page}}) {
392                         my $translation = $translations{$page}{$lang};
393                         push @ret, {
394                                 url => urlto($translation, $page),
395                                 code => $lang,
396                                 language => $config{po_slave_languages}{$lang},
397                                 percent => percenttranslated($translation),
398                         };
399                 }
400         }
401         elsif (istranslation($page)) {
402                 my ($masterpage, $curlang) = ($page =~ /(.*)[.]([a-z]{2})$/);
403                 push @ret, {
404                         url => urlto_with_orig_beautiful_urlpath($masterpage, $page),
405                         code => $config{po_master_language}{code},
406                         language => $config{po_master_language}{name},
407                         master => 1,
408                 };
409                 foreach my $lang (sort keys %{$translations{$masterpage}}) {
410                         push @ret, {
411                                 url => urlto($translations{$masterpage}{$lang}, $page),
412                                 code => $lang,
413                                 language => $config{po_slave_languages}{$lang},
414                                 percent => percenttranslated($translations{$masterpage}{$lang}),
415                         } unless ($lang eq $curlang);
416                 }
417         }
418         return @ret;
419 } #}}}
420
421 sub pagetemplate (@) { #{{{
422         my %params=@_;
423         my $page=$params{page};
424         my $destpage=$params{destpage};
425         my $template=$params{template};
426         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/) if istranslation($page);
427
428         if (istranslation($page) && $template->query(name => "percenttranslated")) {
429                 $template->param(percenttranslated => percenttranslated($page));
430         }
431         if ($template->query(name => "istranslation")) {
432                 $template->param(istranslation => istranslation($page));
433         }
434         if ($template->query(name => "istranslatable")) {
435                 $template->param(istranslatable => istranslatable($page));
436         }
437         if ($template->query(name => "otherlanguages")) {
438                 $template->param(otherlanguages => [otherlanguages($page)]);
439                 if (istranslatable($page)) {
440                         foreach my $translation (values %{$translations{$page}}) {
441                                 add_depends($page, $translation);
442                         }
443                 }
444                 elsif (istranslation($page)) {
445                         add_depends($page, $masterpage);
446                         foreach my $translation (values %{$translations{$masterpage}}) {
447                                 add_depends($page, $translation);
448                         }
449                 }
450         }
451         # Rely on IkiWiki::Render's genpage() to decide wether
452         # a discussion link should appear on $page; this is not
453         # totally accurate, though: some broken links may be generated
454         # when cgiurl is disabled.
455         # This compromise avoids some code duplication, and will probably
456         # prevent future breakage when ikiwiki internals change.
457         # Known limitations are preferred to future random bugs.
458         if ($template->param('discussionlink') && istranslation($page)) {
459                 $template->param('discussionlink' => htmllink(
460                                                         $page,
461                                                         $destpage,
462                                                         $masterpage . '/' . gettext("Discussion"),
463                                                         noimageinline => 1,
464                                                         forcesubpage => 0,
465                                                         linktext => gettext("Discussion"),
466                                                         ));
467         }
468         # remove broken parentlink to ./index.html on home page's translations
469         if ($template->param('parentlinks')
470             && istranslation($page)
471             && $masterpage eq "index") {
472                 $template->param('parentlinks' => []);
473         }
474 } # }}}
475
476 sub editcontent () { #{{{
477         my %params=@_;
478         # as we're previewing or saving a page, the content may have
479         # changed, so tell the next filter() invocation it must not be lazy
480         if (exists $filtered{$params{page}}{$params{page}}) {
481                 delete $filtered{$params{page}}{$params{page}};
482         }
483         return $params{content};
484 } #}}}
485
486 sub istranslatable ($) { #{{{
487         my $page=shift;
488         my $file=$pagesources{$page};
489
490         if (! defined $file
491             || (defined pagetype($file) && pagetype($file) eq 'po')
492             || $file =~ /\.pot$/) {
493                 return 0;
494         }
495         return pagespec_match($page, $config{po_translatable_pages});
496 } #}}}
497
498 sub _istranslation ($) { #{{{
499         my $page=shift;
500         my $file=$pagesources{$page};
501         if (! defined $file) {
502                 return IkiWiki::FailReason->new("no file specified");
503         }
504
505         if (! defined $file
506             || ! defined pagetype($file)
507             || ! pagetype($file) eq 'po'
508             || $file =~ /\.pot$/) {
509                 return 0;
510         }
511
512         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
513         if (! defined $masterpage || ! defined $lang
514             || ! (length($masterpage) > 0) || ! (length($lang) > 0)
515             || ! defined $pagesources{$masterpage}
516             || ! defined $config{po_slave_languages}{$lang}) {
517                 return 0;
518         }
519
520         return istranslatable($masterpage);
521 } #}}}
522
523 sub istranslation ($) { #{{{
524         my $page=shift;
525         if (_istranslation($page)) {
526                 my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
527                 $translations{$masterpage}{$lang}=$page unless exists $translations{$masterpage}{$lang};
528                 return 1;
529         }
530         return 0;
531 } #}}}
532
533 package IkiWiki::PageSpec;
534 use warnings;
535 use strict;
536 use IkiWiki 2.00;
537
538 sub match_istranslation ($;@) { #{{{
539         my $page=shift;
540         if (IkiWiki::Plugin::po::istranslation($page)) {
541                 return IkiWiki::SuccessReason->new("is a translation page");
542         }
543         else {
544                 return IkiWiki::FailReason->new("is not a translation page");
545         }
546 } #}}}
547
548 sub match_istranslatable ($;@) { #{{{
549         my $page=shift;
550         if (IkiWiki::Plugin::po::istranslatable($page)) {
551                 return IkiWiki::SuccessReason->new("is set as translatable in po_translatable_pages");
552         }
553         else {
554                 return IkiWiki::FailReason->new("is not set as translatable in po_translatable_pages");
555         }
556 } #}}}
557
558 sub match_lang ($$;@) { #{{{
559         my $page=shift;
560         my $wanted=shift;
561         my $regexp=IkiWiki::glob2re($wanted);
562         my $lang;
563         my $masterpage;
564
565         if (IkiWiki::Plugin::po::istranslation($page)) {
566                 ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
567         }
568         else {
569                 $lang = $config{po_master_language}{code};
570         }
571
572         if ($lang!~/^$regexp$/i) {
573                 return IkiWiki::FailReason->new("file language is $lang, not $wanted");
574         }
575         else {
576                 return IkiWiki::SuccessReason->new("file language is $wanted");
577         }
578 } #}}}
579
580 sub match_currentlang ($$;@) { #{{{
581         my $page=shift;
582         shift;
583         my %params=@_;
584         my ($currentmasterpage, $currentlang, $masterpage, $lang);
585
586         return IkiWiki::FailReason->new("no location provided") unless exists $params{location};
587
588         if (IkiWiki::Plugin::po::istranslation($params{location})) {
589                 ($currentmasterpage, $currentlang) = ($params{location} =~ /(.*)[.]([a-z]{2})$/);
590         }
591         else {
592                 $currentlang = $config{po_master_language}{code};
593         }
594
595         if (IkiWiki::Plugin::po::istranslation($page)) {
596                 ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
597         }
598         else {
599                 $lang = $config{po_master_language}{code};
600         }
601
602         if ($lang eq $currentlang) {
603                 return IkiWiki::SuccessReason->new("file language is the same as current one, i.e. $currentlang");
604         }
605         else {
606                 return IkiWiki::FailReason->new("file language is $lang, whereas current language is $currentlang");
607         }
608 } #}}}
609
610 1