9273da399a3207543802a6c4ca48bcc1d5924928
[ikiwiki.git] / doc / plugins / po.mdwn
1 [[!template id=plugin name=po core=0 author="[[intrigeri]]"]]
2 [[!tag type/format]]
3
4 This plugin adds support for multi-lingual wikis, translated with
5 gettext, using [po4a](http://po4a.alioth.debian.org/).
6
7 It depends on the Perl `Locale::Po4a::Po` library (`apt-get install po4a`).
8 As detailed bellow in the security section, `po4a` is subject to
9 denial-of-service attacks before version 0.35.
10
11 [[!toc levels=2]]
12
13 Introduction
14 ============
15
16 A language is chosen as the "master" one, and any other supported
17 language is a "slave" one.
18
19 A page written in the "master" language is a "master" page. It can be
20 of any page type supported by ikiwiki, except `po`. It does not have to be
21 named a special way: migration to this plugin does not imply any page
22 renaming work.
23
24 Example: `bla/page.mdwn` is a "master" Markdown page written in
25 English; if `usedirs` is enabled, it is rendered as
26 `bla/page/index.en.html`, else as `bla/page.en.html`.
27
28 Any translation of a "master" page into a "slave" language is called
29 a "slave" page; it is written in the gettext PO format. `po` is now
30 a page type supported by ikiwiki.
31
32 Example: `bla/page.fr.po` is the PO "message catalog" used to
33 translate `bla/page.mdwn` into French; if `usedirs` is enabled, it is
34 rendered as `bla/page/index.fr.html`, else as `bla/page.fr.html`
35
36 (In)Compatibility
37 =================
38
39 This plugin does not support the `indexpages` mode. If you don't know
40 what it is, you probably don't care.
41
42
43 Configuration
44 =============
45
46 Supported languages
47 -------------------
48
49 `po_master_language` is used to set the "master" language in
50 `ikiwiki.setup`, such as:
51
52         po_master_language => { 'code' => 'en', 'name' => 'English' }
53
54 `po_slave_languages` is used to set the list of supported "slave"
55 languages, such as:
56
57         po_slave_languages => { 'fr' => 'Français',
58                                 'es' => 'Español',
59                                 'de' => 'Deutsch',
60         }
61
62 Decide which pages are translatable
63 -----------------------------------
64
65 The `po_translatable_pages` setting configures what pages are
66 translatable. It is a [[ikiwiki/PageSpec]], so you have lots of
67 control over what kind of pages are translatable.
68
69 The `.po` files are not considered as being translatable, so you don't need to
70 worry about excluding them explicitly from this [[ikiwiki/PageSpec]].
71
72 Internal links
73 --------------
74
75 ### Links targets
76
77 The `po_link_to` option in `ikiwiki.setup` is used to decide how
78 internal links should be generated, depending on web server features
79 and site-specific preferences.
80
81 #### Default linking behavior
82
83 If `po_link_to` is unset, or set to `default`, ikiwiki's default
84 linking behavior is preserved: `\[[destpage]]` links to the master
85 language's page.
86
87 #### Link to current language
88
89 If `po_link_to` is set to `current`, `\[[destpage]]` links to the
90 `destpage`'s version written in the current page's language, if
91 available, *i.e.*:
92
93 * `foo/destpage/index.LL.html` if `usedirs` is enabled
94 * `foo/destpage.LL.html` if `usedirs` is disabled
95
96 #### Link to negotiated language
97
98 If `po_link_to` is set to `negotiated`, `\[[page]]` links to the
99 negotiated preferred language, *i.e.* `foo/page/`.
100
101 (In)compatibility notes:
102
103 * if `usedirs` is disabled, it does not make sense to set `po_link_to`
104   to `negotiated`; this option combination is neither implemented
105   nor allowed.
106 * if the web server does not support Content Negotiation, setting
107   `po_link_to` to `negotiated` will produce a unusable website.
108
109 Server support
110 ==============
111
112 Apache
113 ------
114
115 Using Apache `mod_negotiation` makes it really easy to have Apache
116 serve any page in the client's preferred language, if available.
117
118 Add 'Options MultiViews' to the wiki directory's configuration in Apache.
119
120 When `usedirs` is enabled, one has to set `DirectoryIndex index` for
121 the wiki context.
122
123 Setting `DefaultLanguage LL` (replace `LL` with your default MIME
124 language code) for the wiki context can help to ensure
125 `bla/page/index.en.html` is served as `Content-Language: LL`.
126
127 For details, see [Apache's documentation](http://httpd.apache.org/docs/2.2/content-negotiation.html).
128
129 lighttpd
130 --------
131
132 lighttpd unfortunately does not support content negotiation.
133
134 **FIXME**: does `mod_magnet` provide the functionality needed to
135  emulate this?
136
137
138 Usage
139 =====
140
141 Templates
142 ---------
143
144 When `po_link_to` is not set to `negotiated`, one should replace some
145 occurrences of `BASEURL` with `HOMEPAGEURL` to get correct links to
146 the wiki homepage.
147
148 The `ISTRANSLATION` and `ISTRANSLATABLE` variables can be used to
149 display things only on translatable or translation pages.
150
151 ### Display page's versions in other languages
152
153 The `OTHERLANGUAGES` loop provides ways to display other languages'
154 versions of the same page, and the translations' status.
155
156 An example of its use can be found in the default
157 `templates/page.tmpl`. In case you want to customize it, the following
158 variables are available inside the loop (for every page in):
159
160 * `URL` - url to the page
161 * `CODE` - two-letters language code
162 * `LANGUAGE` - language name (as defined in `po_slave_languages`)
163 * `MASTER` - is true (1) if, and only if the page is a "master" page
164 * `PERCENT` - for "slave" pages, is set to the translation completeness, in percents
165
166 ### Display the current translation status
167
168 The `PERCENTTRANSLATED` variable is set to the translation
169 completeness, expressed in percent, on "slave" pages. It is used by
170 the default `templates/page.tmpl`.
171
172 Additional PageSpec tests
173 -------------------------
174
175 This plugin enhances the regular [[ikiwiki/PageSpec]] syntax with some
176 additional tests that are documented [[here|ikiwiki/pagespec/po]].
177
178 Automatic PO file update
179 ------------------------
180
181 Committing changes to a "master" page:
182
183 1. updates the POT file and the PO files for the "slave" languages;
184    the updated PO files are then put under version control;
185 2. triggers a refresh of the corresponding HTML slave pages.
186
187 Also, when the plugin has just been enabled, or when a page has just
188 been declared as being translatable, the needed POT and PO files are
189 created, and the PO files are checked into version control.
190
191 Discussion pages and other sub-pages
192 ------------------------------------
193
194 Discussion should happen in the language in which the pages are
195 written for real, *i.e.* the "master" one. If discussion pages are
196 enabled, "slave" pages therefore link to the "master" page's
197 discussion page.
198
199 Likewise, "slave" pages are not supposed to have sub-pages;
200 [[WikiLinks|wikilink]] that appear on a "slave" page therefore link to
201 the master page's sub-pages.
202
203 Translating
204 -----------
205
206 One can edit the PO files using ikiwiki's CGI (a message-by-message
207 interface could also be implemented at some point).
208
209 If [[tips/untrusted_git_push]] is setup, one can edit the PO files in one's
210 preferred `$EDITOR`, without needing to be online.
211
212 Markup languages support
213 ------------------------
214
215 [[Markdown|mdwn]] is well supported. Some other markup languages supported
216 by ikiwiki mostly work, but some pieces of syntax are not rendered
217 correctly on the slave pages:
218
219 * [[reStructuredText|rst]]: anonymous hyperlinks and internal
220   cross-references
221 * [[wikitext]]: conversion of newlines to paragraphs
222 * [[creole]]: verbatim text is wrapped, tables are broken
223 * [[html]] and LaTeX: not supported yet; the dedicated po4a modules
224   could be used to support them, but they would need a security audit
225 * other markup languages have not been tested.
226
227 Security
228 ========
229
230 [[po/discussion]] contains a detailed security analysis of this plugin
231 and its dependencies.
232
233 When using po4a older than 0.35, it is recommended to uninstall
234 `Text::WrapI18N` (Debian package `libtext-wrapi18n-perl`), in order to
235 avoid a potential denial of service.
236
237 TODO
238 ====
239
240 Better links
241 ------------
242
243 Once the fix to
244 [[bugs/pagetitle_function_does_not_respect_meta_titles]] from
245 [[intrigeri]]'s `meta` branch is merged into ikiwiki upstream, the
246 generated links' text will be optionally based on the page titles set
247 with the [[meta|plugins/meta]] plugin, and will thus be translatable.
248 It will also allow displaying the translation status in links to slave
249 pages. Both were implemented, and reverted in commit
250 ea753782b222bf4ba2fb4683b6363afdd9055b64, which should be reverted
251 once [[intrigeri]]'s `meta` branch is merged.
252
253 An integration branch, called `meta-po`, merges [[intrigeri]]'s `po`
254 and `meta` branches, and thus has this additional features.
255
256 Self links
257 ----------
258
259 If a page contains a WikiLink to itself, ikiwiki does not normally
260 turn that into a hyperlink. However, if a translated page contains a
261 WikiLink to itself, a hyperlink is inserted, at least with the default
262 `po_link_to` the link points to the English version of the page. Is there a
263 good reason for that to be done? --[[Joey]]
264
265 > The commit 0113c69d4fb in my po branch might fix this. --[[intrigeri]]
266
267 Language display order
268 ----------------------
269
270 Jonas pointed out that one might want to control the order that links to
271 other languages are listed, for various reasons. Currently, there is no
272 order, as `po_slave_languages` is a hash. It would need to be converted
273 to an array to support this. (If twere done, twere best done quickly.)
274 --[[Joey]] 
275
276 Duplicate %links ?
277 ------------------
278
279 I notice code in the scan hook that seems to assume
280 that %links will accumulate duplicate links for a page.
281 That used to be so, but the bug was fixed. Does this mean
282 that po might be replacing the only link on a page, in error? 
283 --[[Joey]] 
284
285 > It would replace it. The only problematic case is when another
286 > plugin has its own reasons, in its `scan` hook, to add a page
287 > that is already there to `$links{$page}`. This other plugin's
288 > effect might then be changed by po's `scan` hook... which could
289 > be either good (better overall l10n) or bad (break the other
290 > plugin's goal). --[[intrigeri]]
291
292 Name of toplevel index page
293 ---------------------------
294
295 Normally at the top index page of a wiki, you see the wiki name at
296 the top. However, at the top *translated* index page, you see something
297 like "index.da". --[[Joey]]
298
299 > I suggest changing `Render.pm`, line 115, to replace the `$page eq 'index'`
300 > test with a predicate call such as isindexpage($page). Such a predicate
301 > function could then be overriden by the po plugin. --[[intrigeri]]
302
303 Pagespecs
304 ---------
305
306 I was suprised that, when using the map directive, a pagespec of "*"
307 listed all the translated pages as well as regular pages. That can 
308 make a big difference to an existing wiki when po is turned on,
309 and seems generally not wanted.
310 (OTOH, you do want to match translated pages by
311 default when locking pages.) --[[Joey]]
312
313 Edit links on untranslated pages
314 --------------------------------
315
316 If a page is not translated yet, the "translated" version of it
317 displays wikilinks to other, existing (but not yet translated?)
318 pages as edit links, as if those pages do not exist. 
319
320 That's really confusing, especially as clicking such a link
321 brings up an edit form to create a new, english page.
322
323 This is with po_link_to=current or negotiated. With default, it doesn't
324 happen.. 
325
326 Also, this may only happen if the page being linked to is coming from an
327 underlay, and the underlays lack translation to a given language.
328 --[[Joey]] 
329
330 recentchanges links to po files
331 -------------------------------
332
333 When a po file is changed, the recentchanges page shows a link such as
334 "sandbox.es". But, clicking on it goes to the English (or negotiated
335 language) version of the page. It would be better in this one case if
336 the link went direct to the translated version of the page. --[[Joey]] 
337
338 > The (untested) commit 496e8523c670 in my po branch might fix this...
339 > or at least, I believe, put someone on the right track.
340 > --[[intrigeri]]
341
342 Double commits of po files
343 --------------------------
344
345 When adding a new english page, the po files are created, committed,
346 and then committed again. The second commit makes this change:
347
348         -"Content-Type: text/plain; charset=utf-8\n"
349         -"Content-Transfer-Encoding: ENCODING"
350         +"Content-Type: text/plain; charset=UTF-8\n"
351         +"Content-Transfer-Encoding: ENCODING\n"
352
353 Same thing happens when a change to an existing page triggers a po file
354 update. --[[Joey]] 
355
356 Ugly messages with empty files
357 ------------------------------
358
359 If there are empty .mdwn files, the po plugin displays some ugly messages.
360
361 Translation of directives
362 -------------------------
363
364 If a translated page contains a directive, it may expand to some english
365 text, or text in whatever single language ikiwiki is configured to "speak".
366
367 Maybe there could be a way to switch ikiwiki to speaking another language
368 when building a non-english page? Then the directives would get translated.
369
370 Documentation
371 -------------
372
373 Maybe write separate documentation depending on the people it targets:
374 translators, wiki administrators, hackers. This plugin may be complex
375 enough to deserve this.