Pull all the patches and fragements of patches from tumov and me together
[ikiwiki.git] / doc / patchqueue / index.html_allowed.mdwn
1 Instead of having files foo.html "in front of" foo/, I prefer to have 
2 foo/index.html. This patch allows that. Specifically, foo/index.type 
3 is translated to $links{'foo/'}, and bestlink looks for either "foo" or 
4 "foo/" when linking to pages. There are other miscellaneous changes that 
5 go with that:
6
7 1. change the `cgi_editpage` `@page_locs` code so that creating foo from 
8    a/b/c prefers a/b/foo and then a/b/c/foo, but if creating foo from a/b/c/,
9    then prefer a/b/c/foo. I'm not really sure why the original was doing what
10    it did (why trim terminal `/` if no pages end in `/`?), so this part might
11    break something.
12 2. tweak things so that index.rss and index.atom are generated if inlining 
13    from 'foo/'
14 2. backlinks from "foo/bar" to "foo/" trim common prefixes as long as there 
15    would be something left when the trimming is done (i.e. don't trim "foo/")
16 3. parentlinks for "foo/" are the same as for "foo", except one directory 
17    higher
18 4. rewrite parentlinks so that bestlink is called at each level
19 5. basename("foo/") => basename("foo")
20 6. links to "foo/" are translated to "foo/index.html" rather than "foo/.html".
21   (Links to "foo/" might be preferred, but that causes an infinite loop in 
22   writefile, because apparently dirname("foo/") == "foo/" on my system for 
23   reasons that aren't clear to me.)
24 7. pagetitle("foo/") => pagetitle("foo")
25 8. clip the final slash when matching a relative pagespec, even if there are
26    no characters after it (otherwise inlining "./a" from "foo/" gets 
27    translated to "foo//a")
28
29 In case whitespace gets garbled, I'm also leaving a copy of the patch on 
30 [my site](http://ikidev.betacantrips.com/patches/index.patch). It should apply 
31 cleanly to a freshly unpacked ikiwiki-1.42. You can also see it in action 
32 [here](http://ikidev.betacantrips.com/one/). --Ethan
33
34     diff -urX ignorepats ikiclean/IkiWiki/CGI.pm ikidev/IkiWiki/CGI.pm
35     --- ikiclean/IkiWiki/CGI.pm 2007-02-11 21:40:32.419641000 -0800
36     +++ ikidev/IkiWiki/CGI.pm   2007-02-11 21:54:36.252357000 -0800
37     @@ -408,8 +408,8 @@
38                                 @page_locs=$best_loc=$page;
39                         }
40                         else {
41     -                           my $dir=$from."/";
42     -                           $dir=~s![^/]+/+$!!;
43     +                           my $dir=$from;
44     +                           $dir=~s![^/]+$!!;
45                                 
46                                 if ((defined $form->field('subpage') && length $form->field('subpage')) ||
47                                     $page eq gettext('discussion')) {
48     @@ -420,7 +420,9 @@
49                                 }
50                                 
51                                 push @page_locs, $dir.$page;
52     -                           push @page_locs, "$from/$page";
53     +                           if ($dir ne $from){ # i.e. $from not a directory
54     +                                   push @page_locs, "$from/$page";
55     +                           }
56                                 while (length $dir) {
57                                         $dir=~s![^/]+/+$!!;
58                                         push @page_locs, $dir.$page;
59     diff -urX ignorepats ikiclean/IkiWiki/Plugin/inline.pm ikidev/IkiWiki/Plugin/inline.pm
60     --- ikiclean/IkiWiki/Plugin/inline.pm       2007-02-11 21:40:31.996007000 -0800
61     +++ ikidev/IkiWiki/Plugin/inline.pm 2007-02-11 21:54:36.008358000 -0800
62     @@ -110,8 +110,8 @@
63      
64         add_depends($params{page}, $params{pages});
65      
66     -   my $rssurl=rsspage(basename($params{page}));
67     -   my $atomurl=atompage(basename($params{page}));
68     +   my $rssurl=basename(rsspage($params{page}));
69     +   my $atomurl=basename(atompage($params{page}));
70         my $ret="";
71      
72         if (exists $params{rootpage} && $config{cgiurl}) {
73     @@ -285,14 +285,18 @@
74      
75      sub rsspage ($) { #{{{
76         my $page=shift;
77     +   $page = htmlpage($page);
78     +   $page =~s/\.html$/.rss/;
79      
80     -   return $page.".rss";
81     +   return $page;
82      } #}}}
83      
84      sub atompage ($) { #{{{
85         my $page=shift;
86     +   $page = htmlpage($page);
87     +   $page =~s/\.html$/.atom/;
88      
89     -   return $page.".atom";
90     +   return $page;
91      } #}}}
92      
93      sub genfeed ($$$$@) { #{{{
94     diff -urX ignorepats ikiclean/IkiWiki/Render.pm ikidev/IkiWiki/Render.pm
95     --- ikiclean/IkiWiki/Render.pm      2007-02-11 21:40:32.413641000 -0800
96     +++ ikidev/IkiWiki/Render.pm        2007-02-11 21:54:36.246356000 -0800
97     @@ -40,6 +40,7 @@
98                 my $dir;
99                 1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
100                         defined $dir &&
101     +                   $p_trimmed=~m/^\Q$dir\E(?:.)/ &&
102                         $p_trimmed=~s/^\Q$dir\E// &&
103                         $page_trimmed=~s/^\Q$dir\E//;
104                                
105     @@ -57,10 +58,18 @@
106         my $path="";
107         my $skip=1;
108         return if $page eq 'index'; # toplevel
109     -   foreach my $dir (reverse split("/", $page)) {
110     +   if ($page =~ m{/$}){
111     +           $page =~ s{/$}{};
112     +           $path="../";
113     +   }
114     +
115     +   while ($page =~ m!([^/]+)$!) {
116     +           my $last = $1;
117     +           $page =~ s!/?[^/]+$!!;
118                 if (! $skip) {
119                         $path.="../";
120     -                   unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
121     +                   my $target = abs2rel(htmlpage(bestlink($page, $last)), $page);
122     +                   unshift @ret, { url => $path.$target, page => pagetitle($last) };
123                 }
124                 else {
125                         $skip=0;
126     diff -urX ignorepats ikiclean/IkiWiki.pm ikidev/IkiWiki.pm
127     --- ikiclean/IkiWiki.pm     2007-02-11 21:40:35.118406000 -0800
128     +++ ikidev/IkiWiki.pm       2007-02-11 22:22:49.146071000 -0800
129     @@ -188,6 +188,7 @@
130      sub basename ($) { #{{{
131         my $file=shift;
132      
133     +   $file=~s!/$!!;
134         $file=~s!.*/+!!;
135         return $file;
136      } #}}}
137     @@ -214,12 +215,14 @@
138         my $type=pagetype($file);
139         my $page=$file;
140         $page=~s/\Q.$type\E*$// if defined $type;
141     +   $page=~s#index$## if $page=~m{/index$};
142         return $page;
143      } #}}}
144      
145      sub htmlpage ($) { #{{{
146         my $page=shift;
147      
148     +   return $page."index.html" if $page=~m{/$};
149         return $page.".html";
150      } #}}}
151      
152     @@ -307,6 +310,7 @@
153         my $page=shift;
154         my $link=shift;
155         
156     +   $page =~ s!/$!!;
157         my $cwd=$page;
158         if ($link=~s/^\/+//) {
159                 # absolute links
160     @@ -321,6 +325,9 @@
161                 if (exists $links{$l}) {
162                         return $l;
163                 }
164     +           if (exists $links{$l.'/'}){
165     +                   return $l.'/';
166     +           }
167                 elsif (exists $pagecase{lc $l}) {
168                         return $pagecase{lc $l};
169                 }
170     @@ -351,6 +358,7 @@
171                 $page=~s/__(\d+)__/&#$1;/g;
172         }
173         $page=~y/_/ /;
174     +   $page=~s!/$!!;
175      
176         return $page;
177      } #}}}
178     @@ -879,7 +887,7 @@
179      
180         # relative matching
181         if ($glob =~ m!^\./!) {
182     -           $from=~s!/?[^/]+$!!;
183     +           $from=~s!/?[^/]*$!!;
184                 $glob=~s!^\./!!;
185                 $glob="$from/$glob" if length $from;
186         }
187
188 I independently implemented a similar, but smaller patch.
189 (It's smaller because I only care about rendering; not CGI, for example.)
190 The key to this patch is that "A/B/C" is treated as equivalent
191 to "A/B/C/index".
192 Here it is:  --Per Bothner
193
194     --- IkiWiki/Render.pm~  2007-01-11 15:01:51.000000000 -0800
195     +++ IkiWiki/Render.pm   2007-02-02 22:24:12.000000000 -0800
196     @@ -60,9 +60,9 @@
197             foreach my $dir (reverse split("/", $page)) {
198                     if (! $skip) {
199                             $path.="../";
200     -                       unshift @ret, { url => $path.htmlpage($dir), page => pagetitle($dir) };
201     +                       unshift @ret, { url => abs2rel(htmlpage(bestlink($page, $dir)), dirname($page)), page => pagetitle($dir) };
202                     }
203     -               else {
204     +               elsif ($dir ne "index") {
205                             $skip=0;
206                     }
207             }
208
209     --- IkiWiki.pm~ 2007-01-12 12:47:09.000000000 -0800
210     +++ IkiWiki.pm  2007-02-02 18:02:16.000000000 -0800
211     @@ -315,6 +315,12 @@
212                     elsif (exists $pagecase{lc $l}) {
213                             return $pagecase{lc $l};
214                      }
215     +               else {
216     +                   my $lindex = $l . "/index";
217     +                   if (exists $links{$lindex}) {
218     +                       return $lindex;
219     +               }
220     +               }
221              } while $cwd=~s!/?[^/]+$!!;
222      
223             if (length $config{userdir} && exists $links{"$config{userdir}/".lc($link)}) {
224
225 Note I handle setting the url; slightly differently.
226 Also note that an initial "index" is ignored.  I.e. a
227 page "A/B/index.html" is treated as "A/B".
228
229 > This is actually a pretty cool hack. I'll have to think about
230 > whether I like it better than my way though :) --Ethan
231
232 ---
233
234 How about doing the index stuff only on the output side? (Or does the latter patch do it? I haven't tried them.) That is, render every `foo.type` for the rendered types (mdwn etc.) as `foo/index.html`, generating links to `foo/` instead of `foo.html`, but not earlier than the point where the .html as presently appended to the page name. Then you just flip a build time option on an existing wiki without any changes to that, and the pages appear elsewhere. The `index.type` files might be left out of this scheme, though (and the top-level one, of course, has to). --[[tuomov]]
235
236 > Well, get around to wasting time on it after all, and [here's the patch](http://iki.fi/tuomov/use_dirs.diff). The `-use_dirs` option will cause everything to be rendered inside directories. There may still be some problems with it, that need looking into (it doesn't e.g. check for conflicts between foo/index.mdwn and foo.mdwn), but seems to work well enough for me... The patch also improves, I think, the parentlinks code a little, as it uses generic routines to actually find the target location now. The only places where the `use_dirs` option is used is `htmlpage`, in fact, although other specific kludges needed to be removed from other points in the code.
237
238 >> FWIW, [use_dirs.diff](http://iki.fi/tuomov/use_dirs.diff) applies cleanly, and works well for me. Given that it makes this behaviour optional, how about merging it? I have some follow-up patches which I'm sitting on for now. ;-) -- Ben
239
240 >>> How do you apply a patch created by svn diff? I've been curious about this for a long time. The use_dirs patch looks OK but I'd like to play with it. --Ethan
241
242 >>>> Just do `svn co svn://ikiwiki.kitenet.net/ikiwiki/trunk ikiwiki` then `cd ikiwiki && patch -p0 <use_dirs.diff`. :-) Same would work with a tarball as well.   
243
244 >>>>> Sorry, I'm dumb. I'm so used to doing -p1 that doing -p0 never occurred to me; I thought the patch format generated by svn diff was just "wrong". --Ethan
245
246 ----
247
248 First pass over Tumov's patch -- which doesn't cleanly apply anymore, so
249 I'll attach an updated and modified version below. --[[Joey]]
250
251 * As we discussed in email, this will break handling of `foo/index.mdwn`
252   pages. Needs to be changed to generate `foo/index/index.html` for such
253   pages (though not for the toplevel `index`).
254
255   >> Can someone elaborate on this? What's broken about it? Will pages
256   >> foo/index/index.html include foo/index in their parentlinks? --Ethan
257
258   >>> Presently the patch does not move `foo/index.type` as `foo/index/index.html`, but renders
259   >>> it as `foo/index.html`, not because I particularly want that (except for the top-level one, of
260   >>> course), but because it could be done :). This, however, conflicts with a `foo.mdwn`
261   >>> rendered as `foo/index.html`. The easiest and cleanest way to fix this, is to simply
262   >>> not handle `index` in such a special manner -- except for the top-level one. --[[tuomov]]
263
264   >>>> Oh, I see, this patch doesn't address wanting to use foo/index.mdwn as 
265   >>>> an input page. Hmm. --Ethan
266
267   >>>>> No, it doesn't. I originally also was after that, but after discussing the
268   >>>>> complexities of supporting that with Joey, came up with this simpler scheme
269   >>>>> without many of those issues. It is the output that I primarily care about, anyway,
270   >>>>> and I do, in fact, find the present input file organisation quite nice. The output
271   >>>>> locations just aren't very good for conversion of an existing site to ikiwiki, and do
272   >>>>> make for rather ugly URLs with the .html extensions. (I do often type some URLs
273   >>>>> out of memory, when they're gone from the browser's completion history, and the
274   >>>>> .html makes that more laboursome.)
275
276   >>>>>> I support your decision, but now this wiki page serves two different patches :).
277   >>>>>> Can we split them somehow?
278   >>>>>> What are the complexities involved?
279   >>>>>> I think I overcomplicated it a little with my patch, and Per Bothner's gets 
280   >>>>>> much closer to the heart of it. --Ethan
281
282 * This does make the resulting wikis much less browsable directly on the
283   filesystem, since `dir` to `dir/index.html` conversion is only handled by web
284   servers and so you end up browsing to a directory index all the time.
285   Wouldn't it be better to make the links themselves include the index.html?
286   (Although that would mean that [[bugs/broken_parentlinks]] would not be
287   fixed en passant by this patch..)
288
289      > Yes, the sites are not that browsable on the FS (I blame the browsers
290      > for being stupid!), but linking to the directory produces so much
291      > cleaner URLs for the Web, that I specifically want it. This is,
292      > after all, an optional arrangement. 
293
294      >> It's optional for *now* ... I suppose that I could make adding the
295      >> index.html yet another option. I'm not _that_ fond of optioons
296      >> however. --[[Joey]]
297
298      >>> It is worth noting, that with this patch, you _can_ render the local
299      >>> copy in the present manner, while rendering the Web copy under
300      >>> directories. So no extra options are really needed for local browsing, 
301      >>> unless you also want to serve the same copy over the Web, which I
302      >>> doubt. --[[tuomov]]
303
304 * Some of the generated links are missing the trailing / , which is
305   innefficient since it leads to a http redirect when clicking on that
306   link. Seems to be limited to ".." links, and possibly only to
307   parentlinks. (Already fixed it for "." links.)
308
309       > The solution seems to be to add to `urlto` the following snippet,
310       > which might also help with the next point. (Sorry, no updated patch
311       > yet. Should be on my way out in the cold anyway...)
312
313         if ( !length $to ) {
314                 return baseurl($from);
315         }
316  
317       >> Indeed, this brings the number of abs2rels closer to par, as well
318       >> as fixing the .. links. --[[Joey]]
319
320 * It calles abs2rel about 16% more often with the patch, which makes it
321   a bit slower, since abs2rel is not very efficient. (This omits abs2rel
322   calls that might be memoized away already.) This seems to be due to one
323   extra abs2rel for the toplevel wiki page due to the nicely cleaned up code
324   in `parentlinks` -- so I'm not really complaining.. Especially since the
325   patch adds a new nice memoizable `urlto`.
326 * The rss page name generation code seems unnecesarily roundabout, I'm sure
327   that can be cleaned up somehow, perhaps by making `htmlpage` more
328   generic.
329
330      > Something like `targetpage(basename, extension)`?
331
332      >> Yes exactly. It might also be possible to remove htmlpage from the
333      >> plugin interface entirely (in favour of urlto), which would be a
334      >> good time to make such a changes. Not required to accept this patch
335      >> though.
336
337      >>> [...] in fact, all uses of htmlpage in the plugins are used to
338      >>> construct an absolute address: the absolute url in most cases, so an `absurl`
339      >>> call could be added to be used instead of htmlpage
340      >>> --[[tuomov]]
341
342      >>>> Or it could use urlto("index", $page) instead. --[[Joey]]
343
344 * > and something else in the
345   > aggregate plugin (above), that I also think isn't what's wanted:
346   > aren't `foo.html` pages also "rendered", so that they get moved as `foo/index.html`?
347   > --[[tuomov]]
348
349   >> Yes, the aggregate plugin will save the files as foo.html in the
350   >> sourcedir, and that will result in foo/index.html in the web site, same
351   >> as any other page. --[[Joey]]
352
353 * `img.pm` makes some assumptions about name of the page that will be
354   linking to the image, which are probably broken.
355
356 * The changes to htmlpage's behavior probably call for the plugin
357   interface version number to be changed.
358
359 Updated version of Tumov's patch (with the changes we've discussed
360 including fixes for some of the plugins) follows:
361
362 <pre>
363
364 </pre>