IkiWiki/Plugin/po.pm

   1 #!/usr/bin/perl
   2 # .po as a wiki page type
   3 # inspired by the GPL'd po4a-translate,
   4 # which is Copyright 2002, 2003, 2004 by Martin Quinson (mquinson#debian.org)
   5 package IkiWiki::Plugin::po;
   6
   7 use warnings;
   8 use strict;
   9 use IkiWiki 2.00;
  10 use Encode;
  11 use Locale::Po4a::Chooser;
  12 use Locale::Po4a::Po;
  13 use File::Basename;
  14 use File::Copy;
  15 use File::Spec;
  16 use File::Temp;
  17 use Memoize;
  18
  19 my %translations;
  20 our %filtered;
  21
  22 memoize("_istranslation");
  23 memoize("percenttranslated");
  24 # FIXME: memoizing istranslatable() makes some test cases fail once every
  25 # two tries; this may be related to the artificial way the testsuite is
  26 # run, or not.
  27 # memoize("istranslatable");
  28
  29 # backup references to subs that will be overriden
  30 my %origsubs;
  31 $origsubs{'bestlink'}=\&IkiWiki::bestlink;
  32 $origsubs{'beautify_urlpath'}=\&IkiWiki::beautify_urlpath;
  33 $origsubs{'targetpage'}=\&IkiWiki::targetpage;
  34
  35 sub import {
  36         hook(type => "getsetup", id => "po", call => \&getsetup);
  37         hook(type => "checkconfig", id => "po", call => \&checkconfig);
  38         hook(type => "needsbuild", id => "po", call => \&needsbuild);
  39         hook(type => "filter", id => "po", call => \&filter);
  40         hook(type => "htmlize", id => "po", call => \&htmlize);
  41         hook(type => "pagetemplate", id => "po", call => \&pagetemplate, last => 1);
  42         hook(type => "editcontent", id => "po", call => \&editcontent);
  43         inject(name => "IkiWiki::bestlink", call => \&mybestlink);
  44         inject(name => "IkiWiki::beautify_urlpath", call => \&mybeautify_urlpath);
  45         inject(name => "IkiWiki::targetpage", call => \&mytargetpage);
  46 }
  47
  48 sub getsetup () { #{{{
  49         return
  50                 plugin => {
  51                         safe => 0,
  52                         rebuild => 1, # format plugin
  53                 },
  54                 po_master_language => {
  55                         type => "string",
  56                         example => {
  57                                 'code' => 'en',
  58                                 'name' => 'English'
  59                         },
  60                         description => "master language (non-PO files)",
  61                         safe => 0,
  62                         rebuild => 1,
  63                 },
  64                 po_slave_languages => {
  65                         type => "string",
  66                         example => {
  67                                 'fr' => 'Français',
  68                                 'es' => 'Castellano',
  69                                 'de' => 'Deutsch'
  70                         },
  71                         description => "slave languages (PO files)",
  72                         safe => 0,
  73                         rebuild => 1,
  74                 },
  75                 po_translatable_pages => {
  76                         type => "pagespec",
  77                         example => "!*/Discussion",
  78                         description => "PageSpec controlling which pages are translatable",
  79                         link => "ikiwiki/PageSpec",
  80                         safe => 0,
  81                         rebuild => 1,
  82                 },
  83                 po_link_to => {
  84                         type => "string",
  85                         example => "current",
  86                         description => "internal linking behavior (default/current/negotiated)",
  87                         safe => 0,
  88                         rebuild => 1,
  89                 },
  90 } #}}}
  91
  92 sub checkconfig () { #{{{
  93         foreach my $field (qw{po_master_language po_slave_languages}) {
  94                 if (! exists $config{$field} || ! defined $config{$field}) {
  95                         error(sprintf(gettext("Must specify %s"), $field));
  96                 }
  97         }
  98         if (! exists $config{po_link_to} ||
  99             ! defined $config{po_link_to}) {
 100             $config{po_link_to}="default";
 101         }
 102         if (! exists $config{po_translatable_pages} ||
 103             ! defined $config{po_translatable_pages}) {
 104             $config{po_translatable_pages}="";
 105         }
 106         if ($config{po_link_to} eq "negotiated" && ! $config{usedirs}) {
 107                 error(gettext("po_link_to=negotiated requires usedirs to be set"));
 108         }
 109         push @{$config{wiki_file_prune_regexps}}, qr/\.pot$/;
 110 } #}}}
 111
 112 sub potfile ($) { #{{{
 113         my $masterfile=shift;
 114         (my $name, my $dir, my $suffix) = fileparse($masterfile, qr/\.[^.]*/);
 115         $dir='' if $dir eq './';
 116         return File::Spec->catpath('', $dir, $name . ".pot");
 117 } #}}}
 118
 119 sub pofile ($$) { #{{{
 120         my $masterfile=shift;
 121         my $lang=shift;
 122         (my $name, my $dir, my $suffix) = fileparse($masterfile, qr/\.[^.]*/);
 123         $dir='' if $dir eq './';
 124         return File::Spec->catpath('', $dir, $name . "." . $lang . ".po");
 125 } #}}}
 126
 127 sub refreshpot ($) { #{{{
 128         my $masterfile=shift;
 129         my $potfile=potfile($masterfile);
 130         my %options = ("markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0);
 131         my $doc=Locale::Po4a::Chooser::new('text',%options);
 132         $doc->read($masterfile);
 133         $doc->{TT}{utf_mode} = 1;
 134         $doc->{TT}{file_in_charset} = 'utf-8';
 135         $doc->{TT}{file_out_charset} = 'utf-8';
 136         # let's cheat a bit to force porefs option to be passed to Locale::Po4a::Po;
 137         # this is undocument use of internal Locale::Po4a::TransTractor's data,
 138         # compulsory since this module prevents us from using the porefs option.
 139         my %po_options = ('porefs' => 'none');
 140         $doc->{TT}{po_out}=Locale::Po4a::Po->new(\%po_options);
 141         $doc->{TT}{po_out}->set_charset('utf-8');
 142         # do the actual work
 143         $doc->parse;
 144         $doc->writepo($potfile);
 145 } #}}}
 146
 147 sub refreshpofiles ($@) { #{{{
 148         my $masterfile=shift;
 149         my @pofiles=@_;
 150
 151         my $potfile=potfile($masterfile);
 152         error("[po/refreshpofiles] POT file ($potfile) does not exist") unless (-e $potfile);
 153
 154         foreach my $pofile (@pofiles) {
 155                 if (-e $pofile) {
 156                         my $cmd = "msgmerge -U --backup=none $pofile $potfile";
 157                         system ($cmd) == 0
 158                                 or error("[po/refreshpofiles:$pofile] failed to update");
 159                 }
 160                 else {
 161                         File::Copy::syscopy($potfile,$pofile)
 162                                 or error("[po/refreshpofiles:$pofile] failed to copy the POT file");
 163                 }
 164         }
 165 } #}}}
 166
 167 sub needsbuild () { #{{{
 168         my $needsbuild=shift;
 169
 170         # build %translations, using istranslation's side-effect
 171         foreach my $page (keys %pagesources) {
 172                 istranslation($page);
 173         }
 174
 175         # refresh/create POT and PO files as needed
 176         my $updated_po_files=0;
 177         foreach my $page (keys %pagesources) {
 178                 if (istranslatable($page)) {
 179                         my $pageneedsbuild = grep { $_ eq $pagesources{$page} } @$needsbuild;
 180                         my $updated_pot_file=0;
 181                         my $file=srcfile($pagesources{$page});
 182                         if ($pageneedsbuild || ! -e potfile($file)) {
 183                                 refreshpot($file);
 184                                 $updated_pot_file=1;
 185                         }
 186                         my @pofiles;
 187                         foreach my $lang (keys %{$config{po_slave_languages}}) {
 188                                 my $pofile=pofile($file, $lang);
 189                                 my $pofile_rel=pofile($pagesources{$page}, $lang);
 190                                 if ($pageneedsbuild || $updated_pot_file || ! -e $pofile) {
 191                                         push @pofiles, $pofile;
 192                                         push @$needsbuild, $pofile_rel
 193                                           unless grep { $_ eq $pofile_rel } @$needsbuild;
 194                                 }
 195                         }
 196                         if (@pofiles) {
 197                                 refreshpofiles($file, @pofiles) ;
 198                                 map { IkiWiki::rcs_add($_); } @pofiles if ($config{rcs});
 199                                 $updated_po_files = 1;
 200                         }
 201                 }
 202         }
 203
 204         # check staged changes in
 205         if ($updated_po_files) {
 206                 if ($config{rcs}) {
 207                         IkiWiki::disable_commit_hook();
 208                         IkiWiki::rcs_commit_staged(gettext("updated PO files"),
 209                                 "refreshpofiles", "127.0.0.1");
 210                         IkiWiki::enable_commit_hook();
 211                         IkiWiki::rcs_update();
 212                 }
 213                 # refresh module's private variables
 214                 undef %filtered;
 215                 undef %translations;
 216                 foreach my $page (keys %pagesources) {
 217                         istranslation($page);
 218                 }
 219         }
 220
 221         # make existing translations depend on the corresponding master page
 222         foreach my $master (keys %translations) {
 223                 foreach my $slave (values %{$translations{$master}}) {
 224                         add_depends($slave, $master);
 225                 }
 226         }
 227 } #}}}
 228
 229 sub mytargetpage ($$) { #{{{
 230         my $page=shift;
 231         my $ext=shift;
 232
 233         if (istranslation($page)) {
 234                 my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 235                 if (! $config{usedirs} || $masterpage eq 'index') {
 236                         return $masterpage . "." . $lang . "." . $ext;
 237                 }
 238                 else {
 239                         return $masterpage . "/index." . $lang . "." . $ext;
 240                 }
 241         }
 242         elsif (istranslatable($page)) {
 243                 if (! $config{usedirs} || $page eq 'index') {
 244                         return $page . "." . $config{po_master_language}{code} . "." . $ext;
 245                 }
 246                 else {
 247                         return $page . "/index." . $config{po_master_language}{code} . "." . $ext;
 248                 }
 249         }
 250         return $origsubs{'targetpage'}->($page, $ext);
 251 } #}}}
 252
 253 sub mybeautify_urlpath ($) { #{{{
 254         my $url=shift;
 255         my $res=$origsubs{'beautify_urlpath'}->($url);
 256         if ($config{po_link_to} eq "negotiated") {
 257                 $res =~ s!/index.$config{po_master_language}{code}.$config{htmlext}$!/!;
 258         }
 259         return $res;
 260 } #}}}
 261
 262 sub urlto_with_orig_beautiful_urlpath($$) { #{{{
 263         my $to=shift;
 264         my $from=shift;
 265
 266         inject(name => "IkiWiki::beautify_urlpath", call => $origsubs{'beautify_urlpath'});
 267         my $res=urlto($to, $from);
 268         inject(name => "IkiWiki::beautify_urlpath", call => \&mybeautify_urlpath);
 269
 270         return $res;
 271 } #}}}
 272
 273 sub mybestlink ($$) { #{{{
 274         my $page=shift;
 275         my $link=shift;
 276         my $res=$origsubs{'bestlink'}->($page, $link);
 277         if (length $res) {
 278                 if ($config{po_link_to} eq "current"
 279                     && istranslatable($res)
 280                     && istranslation($page)) {
 281                         my ($masterpage, $curlang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 282                         return $res . "." . $curlang;
 283                 }
 284                 else {
 285                         return $res;
 286                 }
 287         }
 288         return "";
 289 } #}}}
 290
 291 # We use filter to convert PO to the master page's format,
 292 # since the rest of ikiwiki should not work on PO files.
 293 sub filter (@) { #{{{
 294         my %params = @_;
 295         my $page = $params{page};
 296         my $destpage = $params{destpage};
 297         my $content = decode_utf8(encode_utf8($params{content}));
 298
 299         return $content if ( ! istranslation($page)
 300                              || ( exists $filtered{$page}{$destpage}
 301                                   && $filtered{$page}{$destpage} eq 1 ));
 302
 303         # CRLF line terminators make poor Locale::Po4a feel bad
 304         $content=~s/\r\n/\n/g;
 305
 306         # Implementation notes
 307         #
 308         # 1. Locale::Po4a reads/writes from/to files, and I'm too lazy
 309         #    to learn how to disguise a variable as a file.
 310         # 2. There are incompatibilities between some File::Temp versions
 311         #    (including 0.18, bundled with Lenny's perl-modules package)
 312         #    and others (e.g. 0.20, previously present in the archive as
 313         #    a standalone package): under certain circumstances, some
 314         #    return a relative filename, whereas others return an absolute one;
 315         #    we here use this module in a way that is at least compatible
 316         #    with 0.18 and 0.20. Beware, hit'n'run refactorers!
 317         my $infile = new File::Temp(TEMPLATE => "ikiwiki-po-filter-in.XXXXXXXXXX",
 318                                     DIR => File::Spec->tmpdir,
 319                                     UNLINK => 1)->filename;
 320         my $outfile = new File::Temp(TEMPLATE => "ikiwiki-po-filter-out.XXXXXXXXXX",
 321                                      DIR => File::Spec->tmpdir,
 322                                      UNLINK => 1)->filename;
 323
 324         writefile(basename($infile), File::Spec->tmpdir, $content);
 325
 326         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 327         my $masterfile = srcfile($pagesources{$masterpage});
 328         my (@pos,@masters);
 329         push @pos,$infile;
 330         push @masters,$masterfile;
 331         my %options = (
 332                         "markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0,
 333                         );
 334         my $doc=Locale::Po4a::Chooser::new('text',%options);
 335         $doc->process(
 336                 'po_in_name'    => \@pos,
 337                 'file_in_name'  => \@masters,
 338                 'file_in_charset'  => 'utf-8',
 339                 'file_out_charset' => 'utf-8',
 340         ) or error("[po/filter:$infile]: failed to translate");
 341         $doc->write($outfile) or error("[po/filter:$infile] could not write $outfile");
 342         $content = readfile($outfile) or error("[po/filter:$infile] could not read $outfile");
 343
 344         # Unlinking should happen automatically, thanks to File::Temp,
 345         # but it does not work here, probably because of the way writefile()
 346         # and Locale::Po4a::write() work.
 347         unlink $infile, $outfile;
 348
 349         $filtered{$page}{$destpage}=1;
 350         return $content;
 351 } #}}}
 352
 353 sub htmlize (@) { #{{{
 354         my %params=@_;
 355         my $page = $params{page};
 356         my $content = $params{content};
 357         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 358         my $masterfile = srcfile($pagesources{$masterpage});
 359
 360         # force content to be htmlize'd as if it was the same type as the master page
 361         return IkiWiki::htmlize($page, $page, pagetype($masterfile), $content);
 362 } #}}}
 363
 364 sub percenttranslated ($) { #{{{
 365         my $page=shift;
 366         return "N/A" unless (istranslation($page));
 367         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 368         my $file=srcfile($pagesources{$page});
 369         my $masterfile = srcfile($pagesources{$masterpage});
 370         my (@pos,@masters);
 371         push @pos,$file;
 372         push @masters,$masterfile;
 373         my %options = (
 374                         "markdown" => (pagetype($masterfile) eq 'mdwn') ? 1 : 0,
 375                         );
 376         my $doc=Locale::Po4a::Chooser::new('text',%options);
 377         $doc->process(
 378                 'po_in_name'    => \@pos,
 379                 'file_in_name'  => \@masters,
 380                 'file_in_charset'  => 'utf-8',
 381                 'file_out_charset' => 'utf-8',
 382         ) or error("[po/percenttranslated:$file]: failed to translate");
 383         my ($percent,$hit,$queries) = $doc->stats();
 384         return $percent;
 385 } #}}}
 386
 387 sub otherlanguages ($) { #{{{
 388         my $page=shift;
 389         my @ret;
 390         if (istranslatable($page)) {
 391                 foreach my $lang (sort keys %{$translations{$page}}) {
 392                         my $translation = $translations{$page}{$lang};
 393                         push @ret, {
 394                                 url => urlto($translation, $page),
 395                                 code => $lang,
 396                                 language => $config{po_slave_languages}{$lang},
 397                                 percent => percenttranslated($translation),
 398                         };
 399                 }
 400         }
 401         elsif (istranslation($page)) {
 402                 my ($masterpage, $curlang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 403                 push @ret, {
 404                         url => urlto_with_orig_beautiful_urlpath($masterpage, $page),
 405                         code => $config{po_master_language}{code},
 406                         language => $config{po_master_language}{name},
 407                         master => 1,
 408                 };
 409                 foreach my $lang (sort keys %{$translations{$masterpage}}) {
 410                         push @ret, {
 411                                 url => urlto($translations{$masterpage}{$lang}, $page),
 412                                 code => $lang,
 413                                 language => $config{po_slave_languages}{$lang},
 414                                 percent => percenttranslated($translations{$masterpage}{$lang}),
 415                         } unless ($lang eq $curlang);
 416                 }
 417         }
 418         return @ret;
 419 } #}}}
 420
 421 sub pagetemplate (@) { #{{{
 422         my %params=@_;
 423         my $page=$params{page};
 424         my $destpage=$params{destpage};
 425         my $template=$params{template};
 426         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/) if istranslation($page);
 427
 428         if (istranslation($page) && $template->query(name => "percenttranslated")) {
 429                 $template->param(percenttranslated => percenttranslated($page));
 430         }
 431         if ($template->query(name => "istranslation")) {
 432                 $template->param(istranslation => istranslation($page));
 433         }
 434         if ($template->query(name => "istranslatable")) {
 435                 $template->param(istranslatable => istranslatable($page));
 436         }
 437         if ($template->query(name => "otherlanguages")) {
 438                 $template->param(otherlanguages => [otherlanguages($page)]);
 439                 if (istranslatable($page)) {
 440                         foreach my $translation (values %{$translations{$page}}) {
 441                                 add_depends($page, $translation);
 442                         }
 443                 }
 444                 elsif (istranslation($page)) {
 445                         add_depends($page, $masterpage);
 446                         foreach my $translation (values %{$translations{$masterpage}}) {
 447                                 add_depends($page, $translation);
 448                         }
 449                 }
 450         }
 451         # Rely on IkiWiki::Render's genpage() to decide wether
 452         # a discussion link should appear on $page; this is not
 453         # totally accurate, though: some broken links may be generated
 454         # when cgiurl is disabled.
 455         # This compromise avoids some code duplication, and will probably
 456         # prevent future breakage when ikiwiki internals change.
 457         # Known limitations are preferred to future random bugs.
 458         if ($template->param('discussionlink') && istranslation($page)) {
 459                 $template->param('discussionlink' => htmllink(
 460                                                         $page,
 461                                                         $destpage,
 462                                                         $masterpage . '/' . gettext("Discussion"),
 463                                                         noimageinline => 1,
 464                                                         forcesubpage => 0,
 465                                                         linktext => gettext("Discussion"),
 466                                                         ));
 467         }
 468         # remove broken parentlink to ./index.html on home page's translations
 469         if ($template->param('parentlinks')
 470             && istranslation($page)
 471             && $masterpage eq "index") {
 472                 $template->param('parentlinks' => []);
 473         }
 474 } # }}}
 475
 476 sub editcontent () { #{{{
 477         my %params=@_;
 478         # as we're previewing or saving a page, the content may have
 479         # changed, so tell the next filter() invocation it must not be lazy
 480         if (exists $filtered{$params{page}}{$params{page}}) {
 481                 delete $filtered{$params{page}}{$params{page}};
 482         }
 483         return $params{content};
 484 } #}}}
 485
 486 sub istranslatable ($) { #{{{
 487         my $page=shift;
 488         my $file=$pagesources{$page};
 489
 490         if (! defined $file
 491             || (defined pagetype($file) && pagetype($file) eq 'po')
 492             || $file =~ /\.pot$/) {
 493                 return 0;
 494         }
 495         return pagespec_match($page, $config{po_translatable_pages});
 496 } #}}}
 497
 498 sub _istranslation ($) { #{{{
 499         my $page=shift;
 500         my $file=$pagesources{$page};
 501         if (! defined $file) {
 502                 return IkiWiki::FailReason->new("no file specified");
 503         }
 504
 505         if (! defined $file
 506             || ! defined pagetype($file)
 507             || ! pagetype($file) eq 'po'
 508             || $file =~ /\.pot$/) {
 509                 return 0;
 510         }
 511
 512         my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 513         if (! defined $masterpage || ! defined $lang
 514             || ! (length($masterpage) > 0) || ! (length($lang) > 0)
 515             || ! defined $pagesources{$masterpage}
 516             || ! defined $config{po_slave_languages}{$lang}) {
 517                 return 0;
 518         }
 519
 520         return istranslatable($masterpage);
 521 } #}}}
 522
 523 sub istranslation ($) { #{{{
 524         my $page=shift;
 525         if (_istranslation($page)) {
 526                 my ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 527                 $translations{$masterpage}{$lang}=$page unless exists $translations{$masterpage}{$lang};
 528                 return 1;
 529         }
 530         return 0;
 531 } #}}}
 532
 533 package IkiWiki::PageSpec;
 534 use warnings;
 535 use strict;
 536 use IkiWiki 2.00;
 537
 538 sub match_istranslation ($;@) { #{{{
 539         my $page=shift;
 540         if (IkiWiki::Plugin::po::istranslation($page)) {
 541                 return IkiWiki::SuccessReason->new("is a translation page");
 542         }
 543         else {
 544                 return IkiWiki::FailReason->new("is not a translation page");
 545         }
 546 } #}}}
 547
 548 sub match_istranslatable ($;@) { #{{{
 549         my $page=shift;
 550         if (IkiWiki::Plugin::po::istranslatable($page)) {
 551                 return IkiWiki::SuccessReason->new("is set as translatable in po_translatable_pages");
 552         }
 553         else {
 554                 return IkiWiki::FailReason->new("is not set as translatable in po_translatable_pages");
 555         }
 556 } #}}}
 557
 558 sub match_lang ($$;@) { #{{{
 559         my $page=shift;
 560         my $wanted=shift;
 561         my $regexp=IkiWiki::glob2re($wanted);
 562         my $lang;
 563         my $masterpage;
 564
 565         if (IkiWiki::Plugin::po::istranslation($page)) {
 566                 ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 567         }
 568         else {
 569                 $lang = $config{po_master_language}{code};
 570         }
 571
 572         if ($lang!~/^$regexp$/i) {
 573                 return IkiWiki::FailReason->new("file language is $lang, not $wanted");
 574         }
 575         else {
 576                 return IkiWiki::SuccessReason->new("file language is $wanted");
 577         }
 578 } #}}}
 579
 580 sub match_currentlang ($$;@) { #{{{
 581         my $page=shift;
 582         shift;
 583         my %params=@_;
 584         my ($currentmasterpage, $currentlang, $masterpage, $lang);
 585
 586         return IkiWiki::FailReason->new("no location provided") unless exists $params{location};
 587
 588         if (IkiWiki::Plugin::po::istranslation($params{location})) {
 589                 ($currentmasterpage, $currentlang) = ($params{location} =~ /(.*)[.]([a-z]{2})$/);
 590         }
 591         else {
 592                 $currentlang = $config{po_master_language}{code};
 593         }
 594
 595         if (IkiWiki::Plugin::po::istranslation($page)) {
 596                 ($masterpage, $lang) = ($page =~ /(.*)[.]([a-z]{2})$/);
 597         }
 598         else {
 599                 $lang = $config{po_master_language}{code};
 600         }
 601
 602         if ($lang eq $currentlang) {
 603                 return IkiWiki::SuccessReason->new("file language is the same as current one, i.e. $currentlang");
 604         }
 605         else {
 606                 return IkiWiki::FailReason->new("file language is $lang, whereas current language is $currentlang");
 607         }
 608 } #}}}
 609
 610 1