beginning of review and updated patch
[ikiwiki.git] / doc / patchqueue / index.html_allowed.mdwn
1 Instead of having files foo.html "in front of" foo/, I prefer to have 
2 foo/index.html. This patch allows that. Specifically, foo/index.type 
3 is translated to $links{'foo/'}, and bestlink looks for either "foo" or 
4 "foo/" when linking to pages. There are other miscellaneous changes that 
5 go with that:
6
7 1. change the `cgi_editpage` `@page_locs` code so that creating foo from 
8    a/b/c prefers a/b/foo and then a/b/c/foo, but if creating foo from a/b/c/,
9    then prefer a/b/c/foo. I'm not really sure why the original was doing what
10    it did (why trim terminal `/` if no pages end in `/`?), so this part might
11    break something.
12 2. tweak things so that index.rss and index.atom are generated if inlining 
13    from 'foo/'
14 2. backlinks from "foo/bar" to "foo/" trim common prefixes as long as there 
15    would be something left when the trimming is done (i.e. don't trim "foo/")
16 3. parentlinks for "foo/" are the same as for "foo", except one directory 
17    higher
18 4. rewrite parentlinks so that bestlink is called at each level
19 5. basename("foo/") => basename("foo")
20 6. links to "foo/" are translated to "foo/index.html" rather than "foo/.html".
21   (Links to "foo/" might be preferred, but that causes an infinite loop in 
22   writefile, because apparently dirname("foo/") == "foo/" on my system for 
23   reasons that aren't clear to me.)
24 7. pagetitle("foo/") => pagetitle("foo")
25 8. clip the final slash when matching a relative pagespec, even if there are
26    no characters after it (otherwise inlining "./a" from "foo/" gets 
27    translated to "foo//a")
28
29 In case whitespace gets garbled, I'm also leaving a copy of the patch on 
30 [my site](http://ikidev.betacantrips.com/patches/index.patch). It should apply 
31 cleanly to a freshly unpacked ikiwiki-1.42. You can also see it in action 
32 [here](http://ikidev.betacantrips.com/one/). --Ethan
33
34     diff -urX ignorepats ikiclean/IkiWiki/CGI.pm ikidev/IkiWiki/CGI.pm
35     --- ikiclean/IkiWiki/CGI.pm 2007-02-11 21:40:32.419641000 -0800
36     +++ ikidev/IkiWiki/CGI.pm   2007-02-11 21:54:36.252357000 -0800
37     @@ -408,8 +408,8 @@
38                                 @page_locs=$best_loc=$page;
39                         }
40                         else {
41     -                           my $dir=$from."/";
42     -                           $dir=~s![^/]+/+$!!;
43     +                           my $dir=$from;
44     +                           $dir=~s![^/]+$!!;
45                                 
46                                 if ((defined $form->field('subpage') && length $form->field('subpage')) ||
47                                     $page eq gettext('discussion')) {
48     @@ -420,7 +420,9 @@
49                                 }
50                                 
51                                 push @page_locs, $dir.$page;
52     -                           push @page_locs, "$from/$page";
53     +                           if ($dir ne $from){ # i.e. $from not a directory
54     +                                   push @page_locs, "$from/$page";
55     +                           }
56                                 while (length $dir) {
57                                         $dir=~s![^/]+/+$!!;
58                                         push @page_locs, $dir.$page;
59     diff -urX ignorepats ikiclean/IkiWiki/Plugin/inline.pm ikidev/IkiWiki/Plugin/inline.pm
60     --- ikiclean/IkiWiki/Plugin/inline.pm       2007-02-11 21:40:31.996007000 -0800
61     +++ ikidev/IkiWiki/Plugin/inline.pm 2007-02-11 21:54:36.008358000 -0800
62     @@ -110,8 +110,8 @@
63      
64         add_depends($params{page}, $params{pages});
65      
66     -   my $rssurl=rsspage(basename($params{page}));
67     -   my $atomurl=atompage(basename($params{page}));
68     +   my $rssurl=basename(rsspage($params{page}));
69     +   my $atomurl=basename(atompage($params{page}));
70         my $ret="";
71      
72         if (exists $params{rootpage} && $config{cgiurl}) {
73     @@ -285,14 +285,18 @@
74      
75      sub rsspage ($) { #{{{
76         my $page=shift;
77     +   $page = htmlpage($page);
78     +   $page =~s/\.html$/.rss/;
79      
80     -   return $page.".rss";
81     +   return $page;
82      } #}}}
83      
84      sub atompage ($) { #{{{
85         my $page=shift;
86     +   $page = htmlpage($page);
87     +   $page =~s/\.html$/.atom/;
88      
89     -   return $page.".atom";
90     +   return $page;
91      } #}}}
92      
93      sub genfeed ($$$$@) { #{{{
94     diff -urX ignorepats ikiclean/IkiWiki/Render.pm ikidev/IkiWiki/Render.pm
95     --- ikiclean/IkiWiki/Render.pm      2007-02-11 21:40:32.413641000 -0800
96     +++ ikidev/IkiWiki/Render.pm        2007-02-11 21:54:36.246356000 -0800
97     @@ -40,6 +40,7 @@
98                 my $dir;
99                 1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
100                         defined $dir &&
101     +                   $p_trimmed=~m/^\Q$dir\E(?:.)/ &&
102                         $p_trimmed=~s/^\Q$dir\E// &&
103                         $page_trimmed=~s/^\Q$dir\E//;
104                                
105     @@ -57,10 +58,18 @@
106         my $path="";
107         my $skip=1;
108         return if $page eq 'index'; # toplevel
109     -   foreach my $dir (reverse split("/", $page)) {
110     +   if ($page =~ m{/$}){
111     +           $page =~ s{/$}{};
112     +           $path="../";
113     +   }
114     +
115     +   while ($page =~ m!([^/]+)$!) {
116     +           my $last = $1;
117     +           $page =~ s!/?[^/]+$!!;
118                 if (! $skip) {
119                         $path.="../";
120     -                   unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
121     +                   my $target = abs2rel(htmlpage(bestlink($page, $last)), $page);
122     +                   unshift @ret, { url => $path.$target, page => pagetitle($last) };
123                 }
124                 else {
125                         $skip=0;
126     diff -urX ignorepats ikiclean/IkiWiki.pm ikidev/IkiWiki.pm
127     --- ikiclean/IkiWiki.pm     2007-02-11 21:40:35.118406000 -0800
128     +++ ikidev/IkiWiki.pm       2007-02-11 22:22:49.146071000 -0800
129     @@ -188,6 +188,7 @@
130      sub basename ($) { #{{{
131         my $file=shift;
132      
133     +   $file=~s!/$!!;
134         $file=~s!.*/+!!;
135         return $file;
136      } #}}}
137     @@ -214,12 +215,14 @@
138         my $type=pagetype($file);
139         my $page=$file;
140         $page=~s/\Q.$type\E*$// if defined $type;
141     +   $page=~s#index$## if $page=~m{/index$};
142         return $page;
143      } #}}}
144      
145      sub htmlpage ($) { #{{{
146         my $page=shift;
147      
148     +   return $page."index.html" if $page=~m{/$};
149         return $page.".html";
150      } #}}}
151      
152     @@ -307,6 +310,7 @@
153         my $page=shift;
154         my $link=shift;
155         
156     +   $page =~ s!/$!!;
157         my $cwd=$page;
158         if ($link=~s/^\/+//) {
159                 # absolute links
160     @@ -321,6 +325,9 @@
161                 if (exists $links{$l}) {
162                         return $l;
163                 }
164     +           if (exists $links{$l.'/'}){
165     +                   return $l.'/';
166     +           }
167                 elsif (exists $pagecase{lc $l}) {
168                         return $pagecase{lc $l};
169                 }
170     @@ -351,6 +358,7 @@
171                 $page=~s/__(\d+)__/&#$1;/g;
172         }
173         $page=~y/_/ /;
174     +   $page=~s!/$!!;
175      
176         return $page;
177      } #}}}
178     @@ -879,7 +887,7 @@
179      
180         # relative matching
181         if ($glob =~ m!^\./!) {
182     -           $from=~s!/?[^/]+$!!;
183     +           $from=~s!/?[^/]*$!!;
184                 $glob=~s!^\./!!;
185                 $glob="$from/$glob" if length $from;
186         }
187
188 I independently implemented a similar, but smaller patch.
189 (It's smaller because I only care about rendering; not CGI, for example.)
190 The key to this patch is that "A/B/C" is treated as equivalent
191 to "A/B/C/index".
192 Here it is:  --Per Bothner
193
194     --- IkiWiki/Render.pm~  2007-01-11 15:01:51.000000000 -0800
195     +++ IkiWiki/Render.pm   2007-02-02 22:24:12.000000000 -0800
196     @@ -60,9 +60,9 @@
197             foreach my $dir (reverse split("/", $page)) {
198                     if (! $skip) {
199                             $path.="../";
200     -                       unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
201     +                       unshift @ret, { url => abs2rel(htmlpage(bestlink($page, $dir)), dirname($page)), page => pagetitle($dir) };
202                     }
203     -               else {
204     +               elsif ($dir ne "index") {
205                             $skip=0;
206                     }
207             }
208
209     --- IkiWiki.pm~ 2007-01-12 12:47:09.000000000 -0800
210     +++ IkiWiki.pm  2007-02-02 18:02:16.000000000 -0800
211     @@ -315,6 +315,12 @@
212                     elsif (exists $pagecase{lc $l}) {
213                             return $pagecase{lc $l};
214                      }
215     +               else {
216     +                   my $lindex = $l . "/index";
217     +                   if (exists $links{$lindex}) {
218     +                       return $lindex;
219     +               }
220     +               }
221              } while $cwd=~s!/?[^/]+$!!;
222      
223             if (length $config{userdir} && exists $links{"$config{userdir}/".lc($link)}) {
224
225 Note I handle setting the url; slightly differently.
226 Also note that an initial "index" is ignored.  I.e. a
227 page "A/B/index.html" is treated as "A/B".
228
229 > This is actually a pretty cool hack. I'll have to think about
230 > whether I like it better than my way though :) --Ethan
231
232 ---
233
234 How about doing the index stuff only on the output side? (Or does the latter patch do it? I haven't tried them.) That is, render every `foo.type` for the rendered types (mdwn etc.) as `foo/index.html`, generating links to `foo/` instead of `foo.html`, but not earlier than the point where the .html as presently appended to the page name. Then you just flip a build time option on an existing wiki without any changes to that, and the pages appear elsewhere. The `index.type` files might be left out of this scheme, though (and the top-level one, of course, has to). --[[tuomov]]
235
236 > Well, get around to wasting time on it after all, and [here's the patch](http://iki.fi/tuomov/use_dirs.diff). The `-use_dirs` option will cause everything to be rendered inside directories. There may still be some problems with it, that need looking into (it doesn't e.g. check for conflicts between foo/index.mdwn and foo.mdwn), but seems to work well enough for me... The patch also improves, I think, the parentlinks code a little, as it uses generic routines to actually find the target location now. The only places where the `use_dirs` option is used is `htmlpage`, in fact, although other specific kludges needed to be removed from other points in the code.
237
238 >> FWIW, [use_dirs.diff](http://iki.fi/tuomov/use_dirs.diff) applies cleanly, and works well for me. Given that it makes this behaviour optional, how about merging it? I have some follow-up patches which I'm sitting on for now. ;-) -- Ben
239
240 >>> How do you apply a patch created by svn diff? I've been curious about this for a long time. The use_dirs patch looks OK but I'd like to play with it. --Ethan
241
242 >>>> Just do `svn co svn://ikiwiki.kitenet.net/ikiwiki/trunk ikiwiki` then `cd ikiwiki && patch -p0 <use_dirs.diff`. :-) Same would work with a tarball as well.   
243
244
245 ----
246
247 First pass over Tumov's patch -- which doesn't cleanly apply anymore, so
248 I'll attach an updated and slightly modified version below.
249
250 * `urlto()` is O(N) to the number of pages in the wiki, which leads to
251   O(N^2) behavior, which could be a scalability problem. This happens because
252   of the lookup for `$to` in `%renderedfiles`, which shouldn't be necessary
253   most of the time. Couldn't it just be required that `$to` be a html page
254   name on input?
255 * As we discussed in email, this will break handling of `foo/index.mdwn`
256   pages. Needs to be changed to generate `foo/index/index.html` for such
257   pages (though not for the toplevel `index`).
258 * This does make the resulting wikis much less browsable directly on the
259   filesystem, since `dir` to `dir/index.html` conversion is only handled by web
260   servers and so you end up browsing to a directory index all the time.
261   Wouldn't it be better to make the links themselves include the index.html?
262 * Some of the generated links are missing the trailing / , which is
263   innefficient since it leads to a http redirect when clicking on that
264   link. Seems to be limited to ".." links, and possibly only to
265   parentlinks. (Already fixed it for "." links.)
266
267 This is only a first pass, I still need to check to see if there are any
268 code paths where it adds expensive operations such as `abs2rel` that were
269 not needed before. And I have not audited all the plugins to see if any are
270 broken by the changes.
271
272 --[[Joey]]
273
274 Updated version of Tumov's patch follows:
275
276 <pre>
277 Index: IkiWiki/Render.pm
278 ===================================================================
279 --- IkiWiki/Render.pm   (revision 2700)
280 +++ IkiWiki/Render.pm   (working copy)
281 @@ -32,8 +32,8 @@
282         my @links;
283         return unless $backlinks{$page};
284         foreach my $p (keys %{$backlinks{$page}}) {
285 -               my $href=abs2rel(htmlpage($p), dirname($page));
286 -                       
287 +               my $href=urlto($p, $page);
288 +                
289                 # Trim common dir prefixes from both pages.
290                 my $p_trimmed=$p;
291                 my $page_trimmed=$page;
292 @@ -55,18 +55,14 @@
293         my @ret;
294         my $pagelink="";
295         my $path="";
296 -       my $skip=1;
297 +       my $title=$config{wikiname};
298 +       
299         return if $page eq 'index'; # toplevel
300 -       foreach my $dir (reverse split("/", $page)) {
301 -               if (! $skip) {
302 -                       $path.="../";
303 -                       unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
304 -               }
305 -               else {
306 -                       $skip=0;
307 -               }
308 +       foreach my $dir (split("/", $page)) {
309 +               push @ret, { url => urlto($path, $page), page => $title };
310 +               $path.="/".$dir;
311 +               $title=pagetitle($dir);
312         }
313 -       unshift @ret, { url => length $path ? $path : ".", page => $config{wikiname} };
314         return @ret;
315  } #}}}
316  
317 Index: IkiWiki/Plugin/inline.pm
318 ===================================================================
319 --- IkiWiki/Plugin/inline.pm    (revision 2700)
320 +++ IkiWiki/Plugin/inline.pm    (working copy)
321 @@ -110,8 +110,8 @@
322  
323         add_depends($params{page}, $params{pages});
324  
325 -       my $rssurl=rsspage(basename($params{page}));
326 -       my $atomurl=atompage(basename($params{page}));
327 +       my $rssurl=basename(rsspage($params{page}));
328 +       my $atomurl=basename(atompage($params{page}));
329         my $ret="";
330  
331         if (exists $params{rootpage} && $config{cgiurl}) {
332 @@ -151,8 +151,7 @@
333                         # title is separate and can be overridden by
334                         # other plugins.
335                         my $link=bestlink($params{page}, $page);
336 -                       $link=htmlpage($link) if defined $type;
337 -                       $link=abs2rel($link, dirname($params{destpage}));
338 +                       $link=urlto($link, $params{destpage});
339                         $template->param(pageurl => $link);
340                         $template->param(title => pagetitle(basename($page)));
341                         $template->param(ctime => displaytime($pagectime{$page}));
342 @@ -205,15 +204,17 @@
343                 }
344         
345                 if ($rss) {
346 -                       will_render($params{page}, rsspage($params{page}));
347 -                       writefile(rsspage($params{page}), $config{destdir},
348 +                       my $rssp=rsspage($params{page});
349 +                       will_render($params{page}, $rssp);
350 +                       writefile($rssp, $config{destdir},
351                                 genfeed("rss", $rssurl, $desc, $params{page}, @list));
352                         $toping{$params{page}}=1 unless $config{rebuild};
353                         $feedlinks{$params{destpage}}=qq{<link rel="alternate" type="application/rss+xml" title="RSS" href="$rssurl" />};
354                 }
355                 if ($atom) {
356 -                       will_render($params{page}, atompage($params{page}));
357 -                       writefile(atompage($params{page}), $config{destdir},
358 +                       my $atomp=atompage($params{page});
359 +                       will_render($params{page}, $atomp);
360 +                       writefile($atomp, $config{destdir},
361                                 genfeed("atom", $atomurl, $desc, $params{page}, @list));
362                         $toping{$params{page}}=1 unless $config{rebuild};
363                         $feedlinks{$params{destpage}}=qq{<link rel="alternate" type="application/atom+xml" title="Atom" href="$atomurl" />};
364 @@ -288,16 +289,25 @@
365         return $content;
366  } #}}}
367  
368 +sub basepage ($) { #{{{
369 +       my $page=shift;
370 +       
371 +       $page=htmlpage($page);
372 +       $page =~ s/\.html$//;
373 +       
374 +       return $page;
375 +} #}}}
376 +
377  sub rsspage ($) { #{{{
378         my $page=shift;
379  
380 -       return $page.".rss";
381 +       return basepage($page).".rss";
382  } #}}}
383  
384  sub atompage ($) { #{{{
385         my $page=shift;
386  
387 -       return $page.".atom";
388 +       return basepage($page).".atom";
389  } #}}}
390  
391  sub genfeed ($$$$@) { #{{{
392 Index: ikiwiki.in
393 ===================================================================
394 --- ikiwiki.in  (revision 2700)
395 +++ ikiwiki.in  (working copy)
396 @@ -46,6 +46,7 @@
397                         "sslcookie!" => \$config{sslcookie},
398                         "httpauth!" => \$config{httpauth},
399                         "userdir=s" => \$config{userdir},
400 +                       "usedirs!" => \$config{usedirs},
401                         "exclude=s@" => sub {
402                                 push @{$config{wiki_file_prune_regexps}}, $_[1];
403                         },
404 Index: doc/usage.mdwn
405 ===================================================================
406 --- doc/usage.mdwn      (revision 2700)
407 +++ doc/usage.mdwn      (working copy)
408 @@ -244,6 +244,10 @@
409  
410    Log to syslog(3).
411  
412 +* --usedirs
413 +
414 +  Create output files named page/index.html instead of page.html.
415 +
416  * --w3mmode, --no-w3mmode
417  
418    Enable [[w3mmode]], which allows w3m to use ikiwiki as a local CGI script,
419 Index: doc/plugins/write.mdwn
420 ===================================================================
421 --- doc/plugins/write.mdwn      (revision 2700)
422 +++ doc/plugins/write.mdwn      (working copy)
423 @@ -412,6 +412,10 @@
424  
425  This is the standard gettext function, although slightly optimised.
426  
427 +#### `urlto($$)`
428 +
429 +Construct a relative url to the first parameter from the second.
430 +
431  ## RCS plugins
432  
433  ikiwiki's support for revision control systems also uses pluggable perl
434 Index: doc/ikiwiki.setup
435 ===================================================================
436 --- doc/ikiwiki.setup   (revision 2700)
437 +++ doc/ikiwiki.setup   (working copy)
438 @@ -94,6 +94,8 @@
439         syslog => 0,
440         # To link to user pages in a subdirectory of the wiki.
441         #userdir => "users",
442 +       # To enable alternate output filenames.
443 +       #usedirs => 1,
444  
445         # To add plugins, list them here.
446         #add_plugins => [qw{goodstuff openid search wikitext camelcase
447 Index: IkiWiki.pm
448 ===================================================================
449 --- IkiWiki.pm  (revision 2700)
450 +++ IkiWiki.pm  (working copy)
451 @@ -14,7 +14,7 @@
452  use Exporter q{import};
453  our @EXPORT = qw(hook debug error template htmlpage add_depends pagespec_match
454                   bestlink htmllink readfile writefile pagetype srcfile pagename
455 -                 displaytime will_render gettext
456 +                 displaytime will_render gettext urlto
457                   %config %links %renderedfiles %pagesources);
458  our $VERSION = 1.02; # plugin interface version, next is ikiwiki version
459  our $version='unknown'; # VERSION_AUTOREPLACE done by Makefile, DNE
460 @@ -72,6 +72,7 @@
461         sslcookie => 0,
462         httpauth => 0,
463         userdir => "",
464 +       usedirs => 0
465  } #}}}
466     
467  sub checkconfig () { #{{{
468 @@ -226,7 +227,11 @@
469  sub htmlpage ($) { #{{{
470         my $page=shift;
471  
472 -       return $page.".html";
473 +       if (! $config{usedirs} || $page =~ /^index$/ || $page =~ /\/index$/) {
474 +               return $page.".html";
475 +       } else {
476 +               return $page."/index.html"; 
477 +       }
478  } #}}}
479  
480  sub srcfile ($) { #{{{
481 @@ -390,6 +395,7 @@
482  
483         return "$config{url}/" if ! defined $page;
484         
485 +       $page=htmlpage($page);
486         $page=~s/[^\/]+$//;
487         $page=~s/[^\/]+\//..\//g;
488         return $page;
489 @@ -419,6 +425,29 @@
490                         $config{timeformat}, localtime($time)));
491  } #}}}
492  
493 +sub beautify_url ($) { #{{{
494 +       my $url=shift;
495 +
496 +       $url =~ s!/index.html$!/!;
497 +       $url =~ s!^$!./!; # Browsers don't like empty links...
498 +
499 +       return $url;
500 +} #}}}
501 +
502 +sub urlto ($$) { #{{{
503 +       my $to=shift;
504 +       my $from=shift;
505 +
506 +       if (length $to &&
507 +           ! grep { $_ eq $to } map { @{$_} } values %renderedfiles) {
508 +               $to=htmlpage($to);
509 +       }
510 +
511 +       my $link = abs2rel($to, dirname(htmlpage($from)));
512 +
513 +       return beautify_url($link);
514 +} #}}}
515 +
516  sub htmllink ($$$;@) { #{{{
517         my $lpage=shift; # the page doing the linking
518         my $page=shift; # the page that will contain the link (different for inline)
519 @@ -454,7 +483,8 @@
520                         "\">?</a>$linktext</span>"
521         }
522         
523 -       $bestlink=abs2rel($bestlink, dirname($page));
524 +       $bestlink=abs2rel($bestlink, dirname(htmlpage($page)));
525 +       $bestlink=beautify_url($bestlink);
526         
527         if (! $opts{noimageinline} && isinlinableimage($bestlink)) {
528                 return "<img src=\"$bestlink\" alt=\"$linktext\" />";
529 </pre>