rename hook: instead of modifying the passed-by-name array, return a copy
[ikiwiki.git] / doc / plugins / po.mdwn
1 [[!template id=plugin name=po core=0 author="[[intrigeri]]"]]
2 [[!tag type/format]]
3
4 This plugin adds support for multi-lingual wikis, translated with
5 gettext, using [po4a](http://po4a.alioth.debian.org/).
6
7 It depends on the Perl `Locale::Po4a::Po` library (`apt-get install po4a`).
8 As detailed bellow in the security section, `po4a` is subject to
9 denial-of-service attacks before version 0.35.
10
11 [[!toc levels=2]]
12
13 Introduction
14 ============
15
16 A language is chosen as the "master" one, and any other supported
17 language is a "slave" one.
18
19 A page written in the "master" language is a "master" page. It can be
20 of any page type supported by ikiwiki, except `po`. It does not have to be
21 named a special way: migration to this plugin does not imply any page
22 renaming work.
23
24 Example: `bla/page.mdwn` is a "master" Markdown page written in
25 English; if `usedirs` is enabled, it is rendered as
26 `bla/page/index.en.html`, else as `bla/page.en.html`.
27
28 Any translation of a "master" page into a "slave" language is called
29 a "slave" page; it is written in the gettext PO format. `po` is now
30 a page type supported by ikiwiki.
31
32 Example: `bla/page.fr.po` is the PO "message catalog" used to
33 translate `bla/page.mdwn` into French; if `usedirs` is enabled, it is
34 rendered as `bla/page/index.fr.html`, else as `bla/page.fr.html`
35
36 (In)Compatibility
37 =================
38
39 This plugin does not support the `indexpages` mode. If you don't know
40 what it is, you probably don't care.
41
42
43 Configuration
44 =============
45
46 Supported languages
47 -------------------
48
49 `po_master_language` is used to set the "master" language in
50 `ikiwiki.setup`, such as:
51
52         po_master_language => { 'code' => 'en', 'name' => 'English' }
53
54 `po_slave_languages` is used to set the list of supported "slave"
55 languages, such as:
56
57         po_slave_languages => { 'fr' => 'Fran├žais',
58                                 'es' => 'Castellano',
59                                 'de' => 'Deutsch',
60         }
61
62 Decide which pages are translatable
63 -----------------------------------
64
65 The `po_translatable_pages` setting configures what pages are
66 translatable. It is a [[ikiwiki/PageSpec]], so you have lots of
67 control over what kind of pages are translatable.
68
69 The `.po` files are not considered as being translatable, so you don't need to
70 worry about excluding them explicitly from this [[ikiwiki/PageSpec]].
71
72 Internal links
73 --------------
74
75 ### Links targets
76
77 The `po_link_to` option in `ikiwiki.setup` is used to decide how
78 internal links should be generated, depending on web server features
79 and site-specific preferences.
80
81 #### Default linking behavior
82
83 If `po_link_to` is unset, or set to `default`, ikiwiki's default
84 linking behavior is preserved: `\[[destpage]]` links to the master
85 language's page.
86
87 #### Link to current language
88
89 If `po_link_to` is set to `current`, `\[[destpage]]` links to the
90 `destpage`'s version written in the current page's language, if
91 available, *i.e.*:
92
93 * `foo/destpage/index.LL.html` if `usedirs` is enabled
94 * `foo/destpage.LL.html` if `usedirs` is disabled
95
96 #### Link to negotiated language
97
98 If `po_link_to` is set to `negotiated`, `\[[page]]` links to the
99 negotiated preferred language, *i.e.* `foo/page/`.
100
101 (In)compatibility notes:
102
103 * if `usedirs` is disabled, it does not make sense to set `po_link_to`
104   to `negotiated`; this option combination is neither implemented
105   nor allowed.
106 * if the web server does not support Content Negotiation, setting
107   `po_link_to` to `negotiated` will produce a unusable website.
108
109 ### Links appearance
110
111 When `po_translation_status_in_links` is enabled, the text of a link
112 to a slave pages displays this page's translation status.
113
114 When the `po_strictly_refresh_backlinks` setting is enabled, a page is
115 refreshed every time a backlinked page is changed. This updates the
116 translation status in links, and helps having a consistent translated
117 wiki. Beware, this make every page depend on every page that links to
118 it, which can slow everything down and bloat the dependency pagespecs.
119
120 Server support
121 ==============
122
123 Apache
124 ------
125
126 Using Apache `mod_negotiation` makes it really easy to have Apache
127 serve any page in the client's preferred language, if available.
128 This is the default Debian Apache configuration.
129
130 When `usedirs` is enabled, one has to set `DirectoryIndex index` for
131 the wiki context.
132
133 Setting `DefaultLanguage LL` (replace `LL` with your default MIME
134 language code) for the wiki context can help to ensure
135 `bla/page/index.en.html` is served as `Content-Language: LL`.
136
137 lighttpd
138 --------
139
140 lighttpd unfortunately does not support content negotiation.
141
142 **FIXME**: does `mod_magnet` provide the functionality needed to
143  emulate this?
144
145
146 Usage
147 =====
148
149 Templates
150 ---------
151
152 When `po_link_to` is not set to `negotiated`, one should replace some
153 occurrences of `BASEURL` with `HOMEPAGEURL` to get correct links to
154 the wiki homepage.
155
156 The `ISTRANSLATION` and `ISTRANSLATABLE` variables can be used to
157 display things only on translatable or translation pages.
158
159 ### Display page's versions in other languages
160
161 The `OTHERLANGUAGES` loop provides ways to display other languages'
162 versions of the same page, and the translations' status.
163
164 One typically adds the following code to `templates/page.tmpl`:
165
166         <TMPL_IF NAME="OTHERLANGUAGES">
167         <div id="otherlanguages">
168           <ul>
169           <TMPL_LOOP NAME="OTHERLANGUAGES">
170             <li>
171               <a href="<TMPL_VAR NAME="URL">"><TMPL_VAR NAME="LANGUAGE"></a>
172               <TMPL_UNLESS NAME="MASTER">
173                 (<TMPL_VAR NAME="PERCENT">&nbsp;%)
174               </TMPL_UNLESS>
175             </li>
176           </TMPL_LOOP>
177           </ul>
178         </div>
179         </TMPL_IF>
180
181 The following variables are available inside the loop (for every page in):
182
183 * `URL` - url to the page
184 * `CODE` - two-letters language code
185 * `LANGUAGE` - language name (as defined in `po_slave_languages`)
186 * `MASTER` - is true (1) if, and only if the page is a "master" page
187 * `PERCENT` - for "slave" pages, is set to the translation completeness, in percents
188
189 ### Display the current translation status
190
191 The `PERCENTTRANSLATED` variable is set to the translation
192 completeness, expressed in percent, on "slave" pages.
193
194 One can use it this way:
195
196         <TMPL_IF NAME="ISTRANSLATION">
197         <div id="percenttranslated">
198           <TMPL_VAR NAME="PERCENTTRANSLATED">
199         </div>
200         </TMPL_IF>
201
202 Additional PageSpec tests
203 -------------------------
204
205 This plugin enhances the regular [[ikiwiki/PageSpec]] syntax with some
206 additional tests that are documented [[here|ikiwiki/pagespec/po]].
207
208 Automatic PO file update
209 ------------------------
210
211 Committing changes to a "master" page:
212
213 1. updates the POT file and the PO files for the "slave" languages;
214    the updated PO files are then put under version control;
215 2. triggers a refresh of the corresponding HTML slave pages.
216
217 Also, when the plugin has just been enabled, or when a page has just
218 been declared as being translatable, the needed POT and PO files are
219 created, and the PO files are checked into version control.
220
221 Discussion pages and other sub-pages
222 ------------------------------------
223
224 Discussion should happen in the language in which the pages are
225 written for real, *i.e.* the "master" one. If discussion pages are
226 enabled, "slave" pages therefore link to the "master" page's
227 discussion page.
228
229 Likewise, "slave" pages are not supposed to have sub-pages;
230 [[WikiLinks|wikilink]] that appear on a "slave" page therefore link to
231 the master page's sub-pages.
232
233 Translating
234 -----------
235
236 One can edit the PO files using ikiwiki's CGI (a message-by-message
237 interface could also be implemented at some point).
238
239 If [[tips/untrusted_git_push]] is setup, one can edit the PO files in one's
240 preferred `$EDITOR`, without needing to be online.
241
242 Markup languages support
243 ------------------------
244
245 Markdown is well supported. Some other markup languages supported by
246 ikiwiki mostly work, but some pieces of syntax are not rendered
247 correctly on the slave pages:
248
249 * [[reStructuredText|rst]]: anonymous hyperlinks and internal
250   cross-references
251 * [[wikitext]]: conversion of newlines to paragraphs
252 * [[creole]]: verbatim text is wrapped, tables are broken
253 * [[html]] and LaTeX: not supported yet; the dedicated po4a modules
254   could be used to support them, but they would need a security audit
255 * other markup languages have not been tested.
256
257 Security
258 ========
259
260 [[./security]] contains a detailed security analysis of this plugin
261 and its dependencies.
262
263 When using po4a older than 0.35, it is recommended to uninstall
264 `Text::WrapI18N` (Debian package `libtext-wrapi18n-perl`), in order to
265 avoid a potential denial of service.
266
267 TODO
268 ====
269
270 Better links
271 ------------
272
273 ### Page title in links
274
275 Using the fix to
276 [[bugs/pagetitle_function_does_not_respect_meta_titles]] from
277 [[intrigeri]]'s `meta` branch, the generated links' text is based on
278 the page titles set with the [[meta|plugins/meta]] plugin. This has to
279 be merged into ikiwiki upstream, though.
280
281 Robustness tests
282 ----------------
283
284 ### Enabling/disabling the plugin
285
286 * enabling the plugin with `po_translatable_pages` set to blacklist: **OK**
287 * enabling the plugin with `po_translatable_pages` set to whitelist: **OK**
288 * enabling the plugin without `po_translatable_pages` set: **OK**
289 * disabling the plugin: **OK**
290
291 ### Changing the plugin config
292
293 * adding existing pages to `po_translatable_pages`: **OK**
294 * removing existing pages from `po_translatable_pages`: **OK**
295 * adding a language to `po_slave_languages`: **OK**
296 * removing a language from `po_slave_languages`: **OK**
297 * changing `po_master_language`: **OK**
298 * replacing `po_master_language` with a language previously part of
299   `po_slave_languages`: needs two rebuilds, but **OK** (this is quite
300   a perverse test actually)
301
302 ### Creating/deleting/renaming pages
303
304 All cases of master/slave page creation/deletion/rename, both via RCS
305 and via CGI, have been tested.
306
307 ### Misc
308
309 * general test with `usedirs` disabled: **OK**
310 * general test with `indexpages` enabled: **not OK**
311 * general test with `po_link_to=default` with `userdirs` enabled: **OK**
312 * general test with `po_link_to=default` with `userdirs` disabled: **OK**
313
314 Misc. bugs
315 ----------
316
317 Documentation
318 -------------
319
320 Maybe write separate documentation depending on the people it targets:
321 translators, wiki administrators, hackers. This plugin may be complex
322 enough to deserve this.