po plugin: bugfix - only refresh POT/PO for translatable pages
[ikiwiki.git] / IkiWiki / Plugin / po.pm
1 #!/usr/bin/perl
2 # .po as a wiki page type
3 # inspired by the GPL'd po4a-translate,
4 # which is Copyright 2002, 2003, 2004 by Martin Quinson (mquinson#debian.org)
5 package IkiWiki::Plugin::po;
6
7 use warnings;
8 use strict;
9 use IkiWiki 2.00;
10 use Encode;
11 use Locale::Po4a::Chooser;
12 use File::Basename;
13 use File::Copy;
14 use File::Spec;
15 use File::Temp;
16 use Memoize;
17
18 my %translations;
19 memoize("istranslatable");
20 memoize("_istranslation");
21
22 sub import {
23         hook(type => "getsetup", id => "po", call => \&getsetup);
24         hook(type => "checkconfig", id => "po", call => \&checkconfig);
25         hook(type => "needsbuild", id => "po", call => \&needsbuild);
26         hook(type => "targetpage", id => "po", call => \&targetpage);
27         hook(type => "tweakurlpath", id => "po", call => \&tweakurlpath);
28         hook(type => "tweakbestlink", id => "po", call => \&tweakbestlink);
29         hook(type => "filter", id => "po", call => \&filter);
30         hook(type => "htmlize", id => "po", call => \&htmlize);
31         hook(type => "pagetemplate", id => "po", call => \&pagetemplate);
32 }
33
34 sub getsetup () { #{{{
35         return
36                 plugin => {
37                         safe => 0,
38                         rebuild => 1, # format plugin
39                 },
40                 po_master_language => {
41                         type => "string",
42                         example => {
43                                 'code' => 'en',
44                                 'name' => 'English'
45                         },
46                         description => "master language (non-PO files)",
47                         safe => 1,
48                         rebuild => 1,
49                 },
50                 po_slave_languages => {
51                         type => "string",
52                         example => {
53                                 'fr' => 'Fran├žais',
54                                 'es' => 'Castellano',
55                                 'de' => 'Deutsch'
56                         },
57                         description => "slave languages (PO files)",
58                         safe => 1,
59                         rebuild => 1,
60                 },
61                 po_translatable_pages => {
62                         type => "pagespec",
63                         example => "!*/Discussion",
64                         description => "PageSpec controlling which pages are translatable",
65                         link => "ikiwiki/PageSpec",
66                         safe => 1,
67                         rebuild => 1,
68                 },
69                 po_link_to => {
70                         type => "string",
71                         example => "current",
72                         description => "internal linking behavior (default/current/negotiated)",
73                         safe => 1,
74                         rebuild => 1,
75                 },
76 } #}}}
77
78 sub checkconfig () { #{{{
79         foreach my $field (qw{po_master_language po_slave_languages}) {
80                 if (! exists $config{$field} || ! defined $config{$field}) {
81                         error(sprintf(gettext("Must specify %s"), $field));
82                 }
83         }
84         if (! exists $config{po_link_to} ||
85             ! defined $config{po_link_to}) {
86             $config{po_link_to}="default";
87         }
88         if (! exists $config{po_translatable_pages} ||
89             ! defined $config{po_translatable_pages}) {
90             $config{po_translatable_pages}="";
91         }
92         if ($config{po_link_to} eq "negotiated" && ! $config{usedirs}) {
93                 error(gettext("po_link_to=negotiated requires usedirs to be set"));
94         }
95         push @{$config{wiki_file_prune_regexps}}, qr/\.pot$/;
96 } #}}}
97
98 sub refreshpot ($) { #{{{
99         my $masterfile=shift;
100         (my $name, my $dir, my $suffix) = fileparse($masterfile, qr/\.[^.]*/);
101         my $potfile=File::Spec->catfile($dir, $name . ".pot");
102         my %options = ("markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0);
103         my $doc=Locale::Po4a::Chooser::new('text',%options);
104         $doc->read($masterfile);
105         $doc->{TT}{utf_mode} = 1;
106         $doc->{TT}{file_in_charset} = 'utf-8';
107         $doc->{TT}{file_out_charset} = 'utf-8';
108         $doc->parse;
109         $doc->writepo($potfile);
110 } #}}}
111
112 sub refreshpofiles ($@) { #{{{
113         my $masterfile=shift;
114         my @pofiles=@_;
115
116         (my $name, my $dir, my $suffix) = fileparse($masterfile, qr/\.[^.]*/);
117         my $potfile=File::Spec->catfile($dir, $name . ".pot");
118         error("[po/refreshpofiles] POT file ($potfile) does not exist") unless (-e $potfile);
119
120         foreach my $pofile (@pofiles) {
121                 if (-e $pofile) {
122                         my $cmd = "msgmerge -U $pofile $potfile";
123                         system ($cmd) == 0
124                                 or error("[po/refreshpofiles:$pofile] failed to update");
125                 }
126                 else {
127                         File::Copy::syscopy($potfile,$pofile)
128                                 or error("[po/refreshpofiles:$pofile] failed to copy the POT file");
129                 }
130         }
131 } #}}}
132
133 sub needsbuild () { #{{{
134         my $needsbuild=shift;
135
136         # build %translations, using istranslation's side-effect
137         foreach my $page (keys %pagesources) {
138                 istranslation($page);
139         }
140
141         # refresh POT and PO files as needed
142         foreach my $file (@$needsbuild) {
143                 my $page=pagename($file);
144                 if (istranslatable($page)) {
145                         refreshpot(srcfile($file));
146                         my @pofiles;
147                         foreach my $lang (keys %{$translations{$page}}) {
148                                 push @pofiles, $pagesources{$translations{$page}{$lang}};
149                         }
150                         refreshpofiles(srcfile($file), map { srcfile($_) } @pofiles);
151                 }
152         }
153 } #}}}
154
155 sub targetpage (@) { #{{{
156         my %params = @_;
157         my $page=$params{page};
158         my $ext=$params{ext};
159
160         if (istranslation($page)) {
161                 my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
162                 if (! $config{usedirs} || $page eq 'index') {
163                         return $masterpage . "." . $lang . "." . $ext;
164                 }
165                 else {
166                         return $masterpage . "/index." . $lang . "." . $ext;
167                 }
168         }
169         elsif (istranslatable($page)) {
170                 if (! $config{usedirs} || $page eq 'index') {
171                         return $page . "." . $config{po_master_language}{code} . "." . $ext;
172                 }
173                 else {
174                         return $page . "/index." . $config{po_master_language}{code} . "." . $ext;
175                 }
176         }
177         return;
178 } #}}}
179
180 sub tweakurlpath ($) { #{{{
181         my %params = @_;
182         my $url=$params{url};
183         if ($config{po_link_to} eq "negotiated") {
184                 $url =~ s!/index.$config{po_master_language}{code}.$config{htmlext}$!/!;
185         }
186         return $url;
187 } #}}}
188
189 sub tweakbestlink ($$) { #{{{
190         my %params = @_;
191         my $page=$params{page};
192         my $link=$params{link};
193         if ($config{po_link_to} eq "current"
194             && istranslatable($link)
195             && istranslation($page)) {
196                 my ($masterpage, $curlang) = ($page =~ /(.*)[.]([a-z]{2})$/);
197                 return $link . "." . $curlang;
198         }
199         return $link;
200 } #}}}
201
202 our %filtered;
203 # We use filter to convert PO to the master page's type,
204 # since other plugins should not work on PO files
205 sub filter (@) { #{{{
206         my %params = @_;
207         my $page = $params{page};
208         my $destpage = $params{destpage};
209         my $content = decode_utf8(encode_utf8($params{content}));
210
211         # decide if this is a PO file that should be converted into a translated document,
212         # and perform various sanity checks
213         if (! istranslation($page) || $filtered{$page}{$destpage}) {
214                 return $content;
215         }
216
217         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
218         my $file=srcfile(exists $params{file} ? $params{file} : $IkiWiki::pagesources{$page});
219         my $masterfile = srcfile($pagesources{$masterpage});
220         my (@pos,@masters);
221         push @pos,$file;
222         push @masters,$masterfile;
223         my %options = (
224                         "markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0,
225                         );
226         my $doc=Locale::Po4a::Chooser::new('text',%options);
227         $doc->process(
228                 'po_in_name'    => \@pos,
229                 'file_in_name'  => \@masters,
230                 'file_in_charset'  => 'utf-8',
231                 'file_out_charset' => 'utf-8',
232         ) or error("[po/filter:$file]: failed to translate");
233         my ($percent,$hit,$queries) = $doc->stats();
234         my $tmpfh = File::Temp->new(TEMPLATE => "/tmp/ikiwiki-po-filter-out.XXXXXXXXXX");
235         my $tmpout = $tmpfh->filename;
236         $doc->write($tmpout) or error("[po/filter:$file] could not write $tmpout");
237         $content = readfile($tmpout) or error("[po/filter:$file] could not read $tmpout");
238         $filtered{$page}{$destpage}=1;
239         return $content;
240 } #}}}
241
242 sub htmlize (@) { #{{{
243         my %params=@_;
244         my $page = $params{page};
245         my $content = $params{content};
246         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
247         my $masterfile = srcfile($pagesources{$masterpage});
248
249         # force content to be htmlize'd as if it was the same type as the master page
250         return IkiWiki::htmlize($page, $page, pagetype($masterfile), $content);
251 } #}}}
252
253 sub otherlanguages ($) { #{{{
254         my $page=shift;
255         my @ret;
256         if (istranslatable($page)) {
257                 foreach my $lang (sort keys %{$translations{$page}}) {
258                         push @ret, {
259                                 url => urlto($translations{$page}{$lang}, $page),
260                                 code => $lang,
261                                 language => $config{po_slave_languages}{$lang},
262                                 master => 0,
263                         };
264                 }
265         }
266         elsif (istranslation($page)) {
267                 my ($masterpage, $curlang) = ($page =~ /(.*)[.]([a-z]{2})$/);
268                 push @ret, {
269                         url => urlto($masterpage, $page),
270                         code => $config{po_master_language}{code},
271                         language => $config{po_master_language}{name},
272                         master => 1,
273                 };
274                 foreach my $lang (sort keys %{$translations{$masterpage}}) {
275                         push @ret, {
276                                 url => urlto($translations{$masterpage}{$lang}, $page),
277                                 code => $lang,
278                                 language => $config{po_slave_languages}{$lang},
279                                 master => 0,
280                         } unless ($lang eq $curlang);
281                 }
282         }
283         return @ret;
284 } #}}}
285
286 sub pagetemplate (@) { #{{{
287         my %params=@_;
288         my $page=$params{page};
289         my $template=$params{template};
290
291         if ($template->query(name => "otherlanguages")) {
292                 $template->param(otherlanguages => [otherlanguages($page)]);
293         }
294 } # }}}
295
296 sub istranslatable ($) { #{{{
297         my $page=shift;
298         my $file=$pagesources{$page};
299
300         if (! defined $file
301             || (defined pagetype($file) && pagetype($file) eq 'po')
302             || $file =~ /\.pot$/) {
303                 return 0;
304         }
305         return pagespec_match($page, $config{po_translatable_pages});
306 } #}}}
307
308 sub _istranslation ($) { #{{{
309         my $page=shift;
310         my $file=$pagesources{$page};
311         if (! defined $file) {
312                 return IkiWiki::FailReason->new("no file specified");
313         }
314
315         if (! defined $file
316             || ! defined pagetype($file)
317             || ! pagetype($file) eq 'po'
318             || $file =~ /\.pot$/) {
319                 return 0;
320         }
321
322         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
323         if (! defined $masterpage || ! defined $lang
324             || ! (length($masterpage) > 0) || ! (length($lang) > 0)
325             || ! defined $pagesources{$masterpage}
326             || ! defined $config{po_slave_languages}{$lang}) {
327                 return 0;
328         }
329
330         return istranslatable($masterpage);
331 } #}}}
332
333 sub istranslation ($) { #{{{
334         my $page=shift;
335         if (_istranslation($page)) {
336                 my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
337                 $translations{$masterpage}{$lang}=$page unless exists $translations{$masterpage}{$lang};
338                 return 1;
339         }
340         return 0;
341 } #}}}
342
343 package IkiWiki::PageSpec;
344 use warnings;
345 use strict;
346 use IkiWiki 2.00;
347
348 sub match_istranslation ($;@) { #{{{
349         my $page=shift;
350         if (IkiWiki::Plugin::po::istranslation($page)) {
351                 return IkiWiki::SuccessReason->new("is a translation page");
352         }
353         else {
354                 return IkiWiki::FailReason->new("is not a translation page");
355         }
356 } #}}}
357
358 sub match_istranslatable ($;@) { #{{{
359         my $page=shift;
360         if (IkiWiki::Plugin::po::istranslatable($page)) {
361                 return IkiWiki::SuccessReason->new("is set as translatable in po_translatable_pages");
362         }
363         else {
364                 return IkiWiki::FailReason->new("is not set as translatable in po_translatable_pages");
365         }
366 } #}}}
367
368 1