updates
[ikiwiki.git] / doc / patchqueue / index.html_allowed.mdwn
1 Instead of having files foo.html "in front of" foo/, I prefer to have 
2 foo/index.html. This patch allows that. Specifically, foo/index.type 
3 is translated to $links{'foo/'}, and bestlink looks for either "foo" or 
4 "foo/" when linking to pages. There are other miscellaneous changes that 
5 go with that:
6
7 1. change the `cgi_editpage` `@page_locs` code so that creating foo from 
8    a/b/c prefers a/b/foo and then a/b/c/foo, but if creating foo from a/b/c/,
9    then prefer a/b/c/foo. I'm not really sure why the original was doing what
10    it did (why trim terminal `/` if no pages end in `/`?), so this part might
11    break something.
12 2. tweak things so that index.rss and index.atom are generated if inlining 
13    from 'foo/'
14 2. backlinks from "foo/bar" to "foo/" trim common prefixes as long as there 
15    would be something left when the trimming is done (i.e. don't trim "foo/")
16 3. parentlinks for "foo/" are the same as for "foo", except one directory 
17    higher
18 4. rewrite parentlinks so that bestlink is called at each level
19 5. basename("foo/") => basename("foo")
20 6. links to "foo/" are translated to "foo/index.html" rather than "foo/.html".
21   (Links to "foo/" might be preferred, but that causes an infinite loop in 
22   writefile, because apparently dirname("foo/") == "foo/" on my system for 
23   reasons that aren't clear to me.)
24 7. pagetitle("foo/") => pagetitle("foo")
25 8. clip the final slash when matching a relative pagespec, even if there are
26    no characters after it (otherwise inlining "./a" from "foo/" gets 
27    translated to "foo//a")
28
29 In case whitespace gets garbled, I'm also leaving a copy of the patch on 
30 [my site](http://ikidev.betacantrips.com/patches/index.patch). It should apply 
31 cleanly to a freshly unpacked ikiwiki-1.42. You can also see it in action 
32 [here](http://ikidev.betacantrips.com/one/). --Ethan
33
34     diff -urX ignorepats ikiclean/IkiWiki/CGI.pm ikidev/IkiWiki/CGI.pm
35     --- ikiclean/IkiWiki/CGI.pm 2007-02-11 21:40:32.419641000 -0800
36     +++ ikidev/IkiWiki/CGI.pm   2007-02-11 21:54:36.252357000 -0800
37     @@ -408,8 +408,8 @@
38                                 @page_locs=$best_loc=$page;
39                         }
40                         else {
41     -                           my $dir=$from."/";
42     -                           $dir=~s![^/]+/+$!!;
43     +                           my $dir=$from;
44     +                           $dir=~s![^/]+$!!;
45                                 
46                                 if ((defined $form->field('subpage') && length $form->field('subpage')) ||
47                                     $page eq gettext('discussion')) {
48     @@ -420,7 +420,9 @@
49                                 }
50                                 
51                                 push @page_locs, $dir.$page;
52     -                           push @page_locs, "$from/$page";
53     +                           if ($dir ne $from){ # i.e. $from not a directory
54     +                                   push @page_locs, "$from/$page";
55     +                           }
56                                 while (length $dir) {
57                                         $dir=~s![^/]+/+$!!;
58                                         push @page_locs, $dir.$page;
59     diff -urX ignorepats ikiclean/IkiWiki/Plugin/inline.pm ikidev/IkiWiki/Plugin/inline.pm
60     --- ikiclean/IkiWiki/Plugin/inline.pm       2007-02-11 21:40:31.996007000 -0800
61     +++ ikidev/IkiWiki/Plugin/inline.pm 2007-02-11 21:54:36.008358000 -0800
62     @@ -110,8 +110,8 @@
63      
64         add_depends($params{page}, $params{pages});
65      
66     -   my $rssurl=rsspage(basename($params{page}));
67     -   my $atomurl=atompage(basename($params{page}));
68     +   my $rssurl=basename(rsspage($params{page}));
69     +   my $atomurl=basename(atompage($params{page}));
70         my $ret="";
71      
72         if (exists $params{rootpage} && $config{cgiurl}) {
73     @@ -285,14 +285,18 @@
74      
75      sub rsspage ($) { #{{{
76         my $page=shift;
77     +   $page = htmlpage($page);
78     +   $page =~s/\.html$/.rss/;
79      
80     -   return $page.".rss";
81     +   return $page;
82      } #}}}
83      
84      sub atompage ($) { #{{{
85         my $page=shift;
86     +   $page = htmlpage($page);
87     +   $page =~s/\.html$/.atom/;
88      
89     -   return $page.".atom";
90     +   return $page;
91      } #}}}
92      
93      sub genfeed ($$$$@) { #{{{
94     diff -urX ignorepats ikiclean/IkiWiki/Render.pm ikidev/IkiWiki/Render.pm
95     --- ikiclean/IkiWiki/Render.pm      2007-02-11 21:40:32.413641000 -0800
96     +++ ikidev/IkiWiki/Render.pm        2007-02-11 21:54:36.246356000 -0800
97     @@ -40,6 +40,7 @@
98                 my $dir;
99                 1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
100                         defined $dir &&
101     +                   $p_trimmed=~m/^\Q$dir\E(?:.)/ &&
102                         $p_trimmed=~s/^\Q$dir\E// &&
103                         $page_trimmed=~s/^\Q$dir\E//;
104                                
105     @@ -57,10 +58,18 @@
106         my $path="";
107         my $skip=1;
108         return if $page eq 'index'; # toplevel
109     -   foreach my $dir (reverse split("/", $page)) {
110     +   if ($page =~ m{/$}){
111     +           $page =~ s{/$}{};
112     +           $path="../";
113     +   }
114     +
115     +   while ($page =~ m!([^/]+)$!) {
116     +           my $last = $1;
117     +           $page =~ s!/?[^/]+$!!;
118                 if (! $skip) {
119                         $path.="../";
120     -                   unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
121     +                   my $target = abs2rel(htmlpage(bestlink($page, $last)), $page);
122     +                   unshift @ret, { url => $path.$target, page => pagetitle($last) };
123                 }
124                 else {
125                         $skip=0;
126     diff -urX ignorepats ikiclean/IkiWiki.pm ikidev/IkiWiki.pm
127     --- ikiclean/IkiWiki.pm     2007-02-11 21:40:35.118406000 -0800
128     +++ ikidev/IkiWiki.pm       2007-02-11 22:22:49.146071000 -0800
129     @@ -188,6 +188,7 @@
130      sub basename ($) { #{{{
131         my $file=shift;
132      
133     +   $file=~s!/$!!;
134         $file=~s!.*/+!!;
135         return $file;
136      } #}}}
137     @@ -214,12 +215,14 @@
138         my $type=pagetype($file);
139         my $page=$file;
140         $page=~s/\Q.$type\E*$// if defined $type;
141     +   $page=~s#index$## if $page=~m{/index$};
142         return $page;
143      } #}}}
144      
145      sub htmlpage ($) { #{{{
146         my $page=shift;
147      
148     +   return $page."index.html" if $page=~m{/$};
149         return $page.".html";
150      } #}}}
151      
152     @@ -307,6 +310,7 @@
153         my $page=shift;
154         my $link=shift;
155         
156     +   $page =~ s!/$!!;
157         my $cwd=$page;
158         if ($link=~s/^\/+//) {
159                 # absolute links
160     @@ -321,6 +325,9 @@
161                 if (exists $links{$l}) {
162                         return $l;
163                 }
164     +           if (exists $links{$l.'/'}){
165     +                   return $l.'/';
166     +           }
167                 elsif (exists $pagecase{lc $l}) {
168                         return $pagecase{lc $l};
169                 }
170     @@ -351,6 +358,7 @@
171                 $page=~s/__(\d+)__/&#$1;/g;
172         }
173         $page=~y/_/ /;
174     +   $page=~s!/$!!;
175      
176         return $page;
177      } #}}}
178     @@ -879,7 +887,7 @@
179      
180         # relative matching
181         if ($glob =~ m!^\./!) {
182     -           $from=~s!/?[^/]+$!!;
183     +           $from=~s!/?[^/]*$!!;
184                 $glob=~s!^\./!!;
185                 $glob="$from/$glob" if length $from;
186         }
187
188 I independently implemented a similar, but smaller patch.
189 (It's smaller because I only care about rendering; not CGI, for example.)
190 The key to this patch is that "A/B/C" is treated as equivalent
191 to "A/B/C/index".
192 Here it is:  --Per Bothner
193
194     --- IkiWiki/Render.pm~  2007-01-11 15:01:51.000000000 -0800
195     +++ IkiWiki/Render.pm   2007-02-02 22:24:12.000000000 -0800
196     @@ -60,9 +60,9 @@
197             foreach my $dir (reverse split("/", $page)) {
198                     if (! $skip) {
199                             $path.="../";
200     -                       unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
201     +                       unshift @ret, { url => abs2rel(htmlpage(bestlink($page, $dir)), dirname($page)), page => pagetitle($dir) };
202                     }
203     -               else {
204     +               elsif ($dir ne "index") {
205                             $skip=0;
206                     }
207             }
208
209     --- IkiWiki.pm~ 2007-01-12 12:47:09.000000000 -0800
210     +++ IkiWiki.pm  2007-02-02 18:02:16.000000000 -0800
211     @@ -315,6 +315,12 @@
212                     elsif (exists $pagecase{lc $l}) {
213                             return $pagecase{lc $l};
214                      }
215     +               else {
216     +                   my $lindex = $l . "/index";
217     +                   if (exists $links{$lindex}) {
218     +                       return $lindex;
219     +               }
220     +               }
221              } while $cwd=~s!/?[^/]+$!!;
222      
223             if (length $config{userdir} && exists $links{"$config{userdir}/".lc($link)}) {
224
225 Note I handle setting the url; slightly differently.
226 Also note that an initial "index" is ignored.  I.e. a
227 page "A/B/index.html" is treated as "A/B".
228
229 > This is actually a pretty cool hack. I'll have to think about
230 > whether I like it better than my way though :) --Ethan
231
232 ---
233
234 How about doing the index stuff only on the output side? (Or does the latter patch do it? I haven't tried them.) That is, render every `foo.type` for the rendered types (mdwn etc.) as `foo/index.html`, generating links to `foo/` instead of `foo.html`, but not earlier than the point where the .html as presently appended to the page name. Then you just flip a build time option on an existing wiki without any changes to that, and the pages appear elsewhere. The `index.type` files might be left out of this scheme, though (and the top-level one, of course, has to). --[[tuomov]]
235
236 > Well, get around to wasting time on it after all, and [here's the patch](http://iki.fi/tuomov/use_dirs.diff). The `-use_dirs` option will cause everything to be rendered inside directories. There may still be some problems with it, that need looking into (it doesn't e.g. check for conflicts between foo/index.mdwn and foo.mdwn), but seems to work well enough for me... The patch also improves, I think, the parentlinks code a little, as it uses generic routines to actually find the target location now. The only places where the `use_dirs` option is used is `htmlpage`, in fact, although other specific kludges needed to be removed from other points in the code.
237
238 >> FWIW, [use_dirs.diff](http://iki.fi/tuomov/use_dirs.diff) applies cleanly, and works well for me. Given that it makes this behaviour optional, how about merging it? I have some follow-up patches which I'm sitting on for now. ;-) -- Ben
239
240 >>> How do you apply a patch created by svn diff? I've been curious about this for a long time. The use_dirs patch looks OK but I'd like to play with it. --Ethan
241
242 >>>> Just do `svn co svn://ikiwiki.kitenet.net/ikiwiki/trunk ikiwiki` then `cd ikiwiki && patch -p0 <use_dirs.diff`. :-) Same would work with a tarball as well.   
243
244
245 ----
246
247 First pass over Tumov's patch -- which doesn't cleanly apply anymore, so
248 I'll attach an updated and slightly modified version below.
249
250 * `urlto()` is O(N) to the number of pages in the wiki, which leads to
251   O(N^2) behavior, which could be a scalability problem. This happens because
252   of the lookup for `$to` in `%renderedfiles`, which shouldn't be necessary
253   most of the time. Couldn't it just be required that `$to` be a html page
254   name on input? Or require it be a non-html page name and always run
255   htmlpage on it.
256 * As we discussed in email, this will break handling of `foo/index.mdwn`
257   pages. Needs to be changed to generate `foo/index/index.html` for such
258   pages (though not for the toplevel `index`).
259 * This does make the resulting wikis much less browsable directly on the
260   filesystem, since `dir` to `dir/index.html` conversion is only handled by web
261   servers and so you end up browsing to a directory index all the time.
262   Wouldn't it be better to make the links themselves include the index.html?
263 * Some of the generated links are missing the trailing / , which is
264   innefficient since it leads to a http redirect when clicking on that
265   link. Seems to be limited to ".." links, and possibly only to
266   parentlinks. (Already fixed it for "." links.)
267 * It calles abs2rel about 16% more often with the patch, which makes it
268   a bit slower, since abs2rel is not very efficient. (This omits abs2rel
269   calls that might be memoized away already.) This seems to be due to one
270   extra abs2rel for the toplevel wiki page due to the nicely cleaned up code
271   in `parentlinks` -- so I'm not really complaining.. Especially since the
272   patch adds a new nice memoizable `urlto`.
273 * The rss page name generation code seems unnecesarily roundabout, I'm sure
274   that can be cleaned up somehow, perhaps by making `htmlpage` more
275   generic.
276
277 This is only a first pass, I have not yet audited all the plugins to see if
278 any are broken by the changes.
279
280 --[[Joey]]
281
282 Updated version of Tumov's patch follows:
283
284 <pre>
285 Index: IkiWiki/Render.pm
286 ===================================================================
287 --- IkiWiki/Render.pm   (revision 2700)
288 +++ IkiWiki/Render.pm   (working copy)
289 @@ -32,8 +32,8 @@
290         my @links;
291         return unless $backlinks{$page};
292         foreach my $p (keys %{$backlinks{$page}}) {
293 -               my $href=abs2rel(htmlpage($p), dirname($page));
294 -                       
295 +               my $href=urlto($p, $page);
296 +                
297                 # Trim common dir prefixes from both pages.
298                 my $p_trimmed=$p;
299                 my $page_trimmed=$page;
300 @@ -55,18 +55,14 @@
301         my @ret;
302         my $pagelink="";
303         my $path="";
304 -       my $skip=1;
305 +       my $title=$config{wikiname};
306 +       
307         return if $page eq 'index'; # toplevel
308 -       foreach my $dir (reverse split("/", $page)) {
309 -               if (! $skip) {
310 -                       $path.="../";
311 -                       unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
312 -               }
313 -               else {
314 -                       $skip=0;
315 -               }
316 +       foreach my $dir (split("/", $page)) {
317 +               push @ret, { url => urlto($path, $page), page => $title };
318 +               $path.="/".$dir;
319 +               $title=pagetitle($dir);
320         }
321 -       unshift @ret, { url => length $path ? $path : ".", page => $config{wikiname} };
322         return @ret;
323  } #}}}
324  
325 Index: IkiWiki/Plugin/inline.pm
326 ===================================================================
327 --- IkiWiki/Plugin/inline.pm    (revision 2700)
328 +++ IkiWiki/Plugin/inline.pm    (working copy)
329 @@ -110,8 +110,8 @@
330  
331         add_depends($params{page}, $params{pages});
332  
333 -       my $rssurl=rsspage(basename($params{page}));
334 -       my $atomurl=atompage(basename($params{page}));
335 +       my $rssurl=basename(rsspage($params{page}));
336 +       my $atomurl=basename(atompage($params{page}));
337         my $ret="";
338  
339         if (exists $params{rootpage} && $config{cgiurl}) {
340 @@ -151,8 +151,7 @@
341                         # title is separate and can be overridden by
342                         # other plugins.
343                         my $link=bestlink($params{page}, $page);
344 -                       $link=htmlpage($link) if defined $type;
345 -                       $link=abs2rel($link, dirname($params{destpage}));
346 +                       $link=urlto($link, $params{destpage});
347                         $template->param(pageurl => $link);
348                         $template->param(title => pagetitle(basename($page)));
349                         $template->param(ctime => displaytime($pagectime{$page}));
350 @@ -205,15 +204,17 @@
351                 }
352         
353                 if ($rss) {
354 -                       will_render($params{page}, rsspage($params{page}));
355 -                       writefile(rsspage($params{page}), $config{destdir},
356 +                       my $rssp=rsspage($params{page});
357 +                       will_render($params{page}, $rssp);
358 +                       writefile($rssp, $config{destdir},
359                                 genfeed("rss", $rssurl, $desc, $params{page}, @list));
360                         $toping{$params{page}}=1 unless $config{rebuild};
361                         $feedlinks{$params{destpage}}=qq{<link rel="alternate" type="application/rss+xml" title="RSS" href="$rssurl" />};
362                 }
363                 if ($atom) {
364 -                       will_render($params{page}, atompage($params{page}));
365 -                       writefile(atompage($params{page}), $config{destdir},
366 +                       my $atomp=atompage($params{page});
367 +                       will_render($params{page}, $atomp);
368 +                       writefile($atomp, $config{destdir},
369                                 genfeed("atom", $atomurl, $desc, $params{page}, @list));
370                         $toping{$params{page}}=1 unless $config{rebuild};
371                         $feedlinks{$params{destpage}}=qq{<link rel="alternate" type="application/atom+xml" title="Atom" href="$atomurl" />};
372 @@ -288,16 +289,25 @@
373         return $content;
374  } #}}}
375  
376 +sub basepage ($) { #{{{
377 +       my $page=shift;
378 +       
379 +       $page=htmlpage($page);
380 +       $page =~ s/\.html$//;
381 +       
382 +       return $page;
383 +} #}}}
384 +
385  sub rsspage ($) { #{{{
386         my $page=shift;
387  
388 -       return $page.".rss";
389 +       return basepage($page).".rss";
390  } #}}}
391  
392  sub atompage ($) { #{{{
393         my $page=shift;
394  
395 -       return $page.".atom";
396 +       return basepage($page).".atom";
397  } #}}}
398  
399  sub genfeed ($$$$@) { #{{{
400 Index: ikiwiki.in
401 ===================================================================
402 --- ikiwiki.in  (revision 2700)
403 +++ ikiwiki.in  (working copy)
404 @@ -46,6 +46,7 @@
405                         "sslcookie!" => \$config{sslcookie},
406                         "httpauth!" => \$config{httpauth},
407                         "userdir=s" => \$config{userdir},
408 +                       "usedirs!" => \$config{usedirs},
409                         "exclude=s@" => sub {
410                                 push @{$config{wiki_file_prune_regexps}}, $_[1];
411                         },
412 Index: doc/usage.mdwn
413 ===================================================================
414 --- doc/usage.mdwn      (revision 2700)
415 +++ doc/usage.mdwn      (working copy)
416 @@ -244,6 +244,10 @@
417  
418    Log to syslog(3).
419  
420 +* --usedirs
421 +
422 +  Create output files named page/index.html instead of page.html.
423 +
424  * --w3mmode, --no-w3mmode
425  
426    Enable [[w3mmode]], which allows w3m to use ikiwiki as a local CGI script,
427 Index: doc/plugins/write.mdwn
428 ===================================================================
429 --- doc/plugins/write.mdwn      (revision 2700)
430 +++ doc/plugins/write.mdwn      (working copy)
431 @@ -412,6 +412,10 @@
432  
433  This is the standard gettext function, although slightly optimised.
434  
435 +#### `urlto($$)`
436 +
437 +Construct a relative url to the first parameter from the second.
438 +
439  ## RCS plugins
440  
441  ikiwiki's support for revision control systems also uses pluggable perl
442 Index: doc/ikiwiki.setup
443 ===================================================================
444 --- doc/ikiwiki.setup   (revision 2700)
445 +++ doc/ikiwiki.setup   (working copy)
446 @@ -94,6 +94,8 @@
447         syslog => 0,
448         # To link to user pages in a subdirectory of the wiki.
449         #userdir => "users",
450 +       # To enable alternate output filenames.
451 +       #usedirs => 1,
452  
453         # To add plugins, list them here.
454         #add_plugins => [qw{goodstuff openid search wikitext camelcase
455 Index: IkiWiki.pm
456 ===================================================================
457 --- IkiWiki.pm  (revision 2700)
458 +++ IkiWiki.pm  (working copy)
459 @@ -14,7 +14,7 @@
460  use Exporter q{import};
461  our @EXPORT = qw(hook debug error template htmlpage add_depends pagespec_match
462                   bestlink htmllink readfile writefile pagetype srcfile pagename
463 -                 displaytime will_render gettext
464 +                 displaytime will_render gettext urlto
465                   %config %links %renderedfiles %pagesources);
466  our $VERSION = 1.02; # plugin interface version, next is ikiwiki version
467  our $version='unknown'; # VERSION_AUTOREPLACE done by Makefile, DNE
468 @@ -72,6 +72,7 @@
469         sslcookie => 0,
470         httpauth => 0,
471         userdir => "",
472 +       usedirs => 0
473  } #}}}
474     
475  sub checkconfig () { #{{{
476 @@ -226,7 +227,11 @@
477  sub htmlpage ($) { #{{{
478         my $page=shift;
479  
480 -       return $page.".html";
481 +       if (! $config{usedirs} || $page =~ /^index$/ || $page =~ /\/index$/) {
482 +               return $page.".html";
483 +       } else {
484 +               return $page."/index.html"; 
485 +       }
486  } #}}}
487  
488  sub srcfile ($) { #{{{
489 @@ -390,6 +395,7 @@
490  
491         return "$config{url}/" if ! defined $page;
492         
493 +       $page=htmlpage($page);
494         $page=~s/[^\/]+$//;
495         $page=~s/[^\/]+\//..\//g;
496         return $page;
497 @@ -419,6 +425,29 @@
498                         $config{timeformat}, localtime($time)));
499  } #}}}
500  
501 +sub beautify_url ($) { #{{{
502 +       my $url=shift;
503 +
504 +       $url =~ s!/index.html$!/!;
505 +       $url =~ s!^$!./!; # Browsers don't like empty links...
506 +
507 +       return $url;
508 +} #}}}
509 +
510 +sub urlto ($$) { #{{{
511 +       my $to=shift;
512 +       my $from=shift;
513 +
514 +       if (length $to &&
515 +           ! grep { $_ eq $to } map { @{$_} } values %renderedfiles) {
516 +               $to=htmlpage($to);
517 +       }
518 +
519 +       my $link = abs2rel($to, dirname(htmlpage($from)));
520 +
521 +       return beautify_url($link);
522 +} #}}}
523 +
524  sub htmllink ($$$;@) { #{{{
525         my $lpage=shift; # the page doing the linking
526         my $page=shift; # the page that will contain the link (different for inline)
527 @@ -454,7 +483,8 @@
528                         "\">?</a>$linktext</span>"
529         }
530         
531 -       $bestlink=abs2rel($bestlink, dirname($page));
532 +       $bestlink=abs2rel($bestlink, dirname(htmlpage($page)));
533 +       $bestlink=beautify_url($bestlink);
534         
535         if (! $opts{noimageinline} && isinlinableimage($bestlink)) {
536                 return "<img src=\"$bestlink\" alt=\"$linktext\" />";
537 </pre>