]> sipb.mit.edu Git - ikiwiki.git/commitdiff
Merge branch 'master' into aggregateinternal
authorJoey Hess <joey@kodama.kitenet.net>
Tue, 15 Jul 2008 01:21:16 +0000 (21:21 -0400)
committerJoey Hess <joey@kodama.kitenet.net>
Tue, 15 Jul 2008 01:21:16 +0000 (21:21 -0400)
IkiWiki/Plugin/aggregate.pm
debian/changelog
doc/ikiwiki-transition.mdwn
doc/ikiwiki.setup
doc/plugins/aggregate.mdwn
doc/roadmap.mdwn
ikiwiki-transition

index f618042374acc4e561be7be446b4fd0c918db316..2fcdec9e73d71ad303ff4f807d8f81a9bcc58248 100644 (file)
@@ -21,6 +21,7 @@ sub import { #{{{
        hook(type => "preprocess", id => "aggregate", call => \&preprocess);
         hook(type => "delete", id => "aggregate", call => \&delete);
        hook(type => "savestate", id => "aggregate", call => \&savestate);
+       hook(type => "htmlize", id => "_aggregated", call => \&htmlize);
        if (exists $config{aggregate_webtrigger} && $config{aggregate_webtrigger}) {
                hook(type => "cgi", id => "aggregate", call => \&cgi);
        }
@@ -30,7 +31,10 @@ sub getopt () { #{{{
         eval q{use Getopt::Long};
        error($@) if $@;
         Getopt::Long::Configure('pass_through');
-        GetOptions("aggregate" => \$config{aggregate});
+        GetOptions(
+               "aggregate" => \$config{aggregate},
+               "aggregateinternal!" => \$config{aggregateinternal},
+       );
 } #}}}
 
 sub checkconfig () { #{{{
@@ -110,6 +114,54 @@ sub launchaggregation () { #{{{
        return 1;
 } #}}}
 
+#  Pages with extension _aggregated have plain html markup, pass through.
+sub htmlize (@) { #{{{
+       my %params=@_;
+       return $params{content};
+} #}}}
+
+# Used by ikiwiki-transition aggregateinternal.
+sub migrate_to_internal { #{{{
+       if (! lockaggregate()) {
+               error("an aggregation process is currently running");
+       }
+
+       IkiWiki::lockwiki();
+       loadstate();
+       $config{verbose}=1;
+
+       foreach my $data (values %guids) {
+               next unless $data->{page};
+               
+               $config{aggregateinternal} = 0;
+               my $oldname = pagefile($data->{page});
+               
+               $config{aggregateinternal} = 1;
+               my $newname = pagefile($data->{page});
+               
+               debug "moving $oldname -> $newname";
+               if (-e $newname) {
+                       if (-e $oldname) {
+                               error("$newname already exists");
+                       }
+                       else {
+                               debug("already renamed to $newname?");
+                       }
+               }
+               elsif (-e $oldname) {
+                       rename($oldname, $newname) || error("$!");
+               }
+               else {
+                       debug("$oldname not found");
+               }
+       }
+       
+       savestate();
+       IkiWiki::unlockwiki;
+       
+       unlockaggregate();
+} #}}}
+
 sub needsbuild (@) { #{{{
        my $needsbuild=shift;
        
@@ -595,7 +647,7 @@ sub pagefile ($) { #{{{
 } #}}}
 
 sub htmlfn ($) { #{{{
-       return shift().".".$config{htmlext};
+       return shift().".".($config{aggregateinternal} ? "_aggregated" : $config{htmlext});
 } #}}}
 
 my $aggregatelock;
index 3c535fd5fdd0a4cb352a44ee1ad55849bdca8c87..9039829acdef5088ce748c70b7fbd064901e001c 100644 (file)
@@ -15,17 +15,24 @@ ikiwiki (2.54) UNRELEASED; urgency=low
   * Change deb dependencies to list Text::Markdown before markdown, since
     the former, while slower, has a much better html parser that avoids
     numerous bugs.
-  * meta, inline: Support guid options, to allow forcing a particular url or
-    uuid in feeds. (smcv)
   * Move yesno function out of inline and into IkiWiki core, not exported.
-  * meta: fix title() PageSpec (smcv)
-  * Some footer style changes. (smcv)
   * Error handling improvement for preprocess hooks. It's now safe to call
     error() from such hooks; it will cause a nicely formatted error message
     to be inserted into the page.
   * Cut the size of the binary package in half by excluding pages for bugs
     and todo items from the html shipped in it.
 
+  [ Simon McVittie ]
+  * meta, inline: Support guid options, to allow forcing a particular url or
+    uuid in feeds.
+  * meta: fix title() PageSpec
+  * Some footer style changes.
+  * aggregate: Add an `aggregateinternal` option, which allows storing
+    aggregated data to internal-use files, rather than wiki pages. This
+    can save disk space, and be faster.
+  * ikiwiki-transition: Add a `aggregateinternal` transition to rename
+    the aggregated files.
+
  -- Josh Triplett <josh@freedesktop.org>  Wed, 09 Jul 2008 21:30:33 -0700
 
 ikiwiki (2.53) unstable; urgency=low
index 693c1db832472f85d3fc6823197b6970082dec2a..624268d23b6c49c9a5fea73baefb5962c826f295 100644 (file)
@@ -25,6 +25,11 @@ Note that if the page contains wiki links with spaces, which some
 older versions of ikiwiki accepted, the prefix_directives transition will
 treat these as preprocessor directives and convert them.
 
+# aggregateinternal
+
+The `aggregateinternal` mode moves pages aggregated by the aggregate plugin
+so that the `aggregateinternal` option can be endabled 
+
 # indexdb
 
 The `indexdb` mode handles converting a plain text `.ikiwiki/index` file to
index 6d327fd9861d298cda18b5aaefa74d6a35854922..10cb3da1d5e26f1c6392ecfa51aaa3cf52f8ea43 100644 (file)
@@ -174,8 +174,12 @@ use IkiWiki::Setup::Standard {
        # pages anonymous users can edit
        #anonok_pagespec => "*",
        
-       # For use with the aggregate plugin, to allow aggregation to be
-       # triggered via the web.
+       # For use with the aggregate plugin.
+       # Enable aggregation to internal pages. New wikis should set this to 1,
+       # but if you use aggregate already, read the aggregate plugin docs
+       # before enabling it.
+       #aggregateinternal => 1,
+       # Allow aggregation to be triggered via the web.
        #aggregate_webtrigger => 1,
        
        # For use with the pinger plugin, how many seconds to wait before
index 574c8b125e9486e3433a89711eddd4ebbab03fb0..61743a81644f00c66b4903b8faa2a2db4d654cac 100644 (file)
@@ -1,10 +1,10 @@
-[[template id=plugin name=aggregate author="[[Joey]]"]]
-[[tag type/useful]]
+[[!template id=plugin name=aggregate author="[[Joey]]"]]
+[[!tag type/useful]]
 
 This plugin allows content from other feeds to be aggregated into the wiki.
-Aggregate a feed as follows
+Aggregate a feed as follows:
 
-       \[[aggregate name="example blog"
+       \[[!aggregate name="example blog" dir="example"
        feedurl="http://example.com/index.rss"
        url="http://example.com/" updateinterval="15"]]
 
@@ -13,12 +13,17 @@ more frequently than once every 15 minutes, and puts a page per post under
 the example/ directory in the wiki.
 
 You can then use ikiwiki's [[ikiwiki/blog]] support to create a blog of one or
-more aggregated feeds.
+more aggregated feeds. For example:
+
+       \[[!inline pages="internal(example/*)"]]
 
 ## setup
 
-Make sure that you have the [[html]] plugin enabled, as the created pages are
-in html format. The [[meta]] and [[tag]] plugins are also recommended. The
+New users of aggregate should enable the `aggregateinternal => 1` option in the
+.setup file. If you don't do so, you will need to enable the [[html]] plugin
+as well as aggregate itself, since feed entries will be stored as HTML.
+
+The [[meta]] and [[tag]] plugins are also recommended. The
 [[htmltidy]] plugin is suggested, since feeds can easily contain html
 problems, some of which tidy can fix.
 
@@ -31,7 +36,7 @@ crontab entry:
 Alternatively, you can allow `ikiwiki.cgi` to trigger the aggregation. You
 should only need this if for some reason you cannot use cron, and instead
 want to use a service such as [WebCron](http://webcron.org). To enable
-this, enable on `aggregate_webtrigger` in your setup file. The url to
+this, turn on `aggregate_webtrigger` in your setup file. The url to
 visit is `http://whatever/ikiwiki.cgi?do=aggregate_webtrigger`. Anyone
 can visit the url to trigger an aggregation run, but it will only check
 each feed if its `updateinterval` has passed.
@@ -59,9 +64,44 @@ directive:
 * `tag` - A tag to tag each post from the feed with. A good tag to use is
   the name of the feed. Can be repeated multiple times. The [[tag]] plugin
   must be enabled for this to work.
-* `template` - Template to use for creating the html pages. Defaults to
+* `template` - Template to use for creating the aggregated pages. Defaults to
   aggregatepost.
 
 Note that even if you are using subversion or another revision control
 system, pages created by aggregation will *not* be checked into revision
 control.
+
+## internal pages and `aggregateinternal`
+
+This plugin creates a page for each aggregated item. 
+
+If the `aggregateinternal` option is enabled in the setup file (which is
+recommended), aggregated pages are stored in the source directory with a
+"._aggregated" extension. These pages cannot be edited by web users, and
+do not generate first-class wiki pages. They can still be inlined into a
+blog, but you have to use `internal` in [[PageSpecs|IkiWiki/PageSpec]],
+like `internal(blog/*)`.
+
+For backward compatibility, the default is that these pages have the
+".html" extension, and are first-class wiki pages -- each one generates
+a separate HTML page in the output, and they can even be edited.
+
+That turns out to not be ideal for aggregated content, because publishing
+files for each of those pages is a waste of disk space and CPU, and you
+probably don't want to allow them to be edited. So, there is an alternative
+method that can be used (and is recommended), turned on by the
+`aggregateinternal` option in the setup file.
+
+If you are already using aggregate and want to enable `aggregateinternal`,
+you should follow this process:
+
+1. Update all [[PageSpecs|ikiwiki/PageSpec]] that refer to the aggregated
+   pages -- such as those in inlines. Put "internal()" around globs 
+   in those PageSpecs. For example, if the PageSpec was `foo/*`, it should
+   be changed to `internal(foo/*)`. This has to be done because internal
+   pages are not matched by regular globs.
+2. Use [[ikiwiki-transition]] to move all existing aggregated `.html`
+   files. The command to run is `ikiwiki-transition aggregateinternal $srcdir`,
+   or if you have changed the `htmlext` option to something other than "html",
+   `ikiwiki-transition aggregateinternal $srcdir $htmlext`
+3. Turn on `aggregateinternal` in the setup file and rebuild the wiki.
index af46e162be7f89ab3efb33dc5dc96f1c0b3343ce..32752715d8fe4b1f2c50219227ff396c50884080 100644 (file)
@@ -42,7 +42,8 @@ backwards compatability.
 Still in the early planning stages, version 3.0 will be an opportunity to
 make significant transitions.
 
-* Default to using prefix_directives.
+* Default to using `prefix_directives`.
+* Default to using `aggregateinternal`.
 
 ----
 
index ce081fe63f63ffe0eb22492148ff8228994fee32..6524297ee6e0fa00749210a5593e70290b3913a4 100755 (executable)
@@ -99,12 +99,25 @@ sub hashpassword {
        }
 }
 
+sub aggregateinternal {
+       $config{srcdir} = shift;
+       $config{wikistatedir} = $config{srcdir}."/.ikiwiki";
+       $config{htmlext} = (shift or "html");
+
+       require IkiWiki::Plugin::aggregate;
+
+       IkiWiki::Plugin::aggregate::migrate_to_internal();
+
+       print "... now add aggregateinternal => 1 to your .setup file\n";
+}
+
 sub usage {
        print STDERR "Usage: ikiwiki-transition type ...\n";
        print STDERR "Currently supported transition subcommands:\n";
        print STDERR "  prefix_directives file\n";
        print STDERR "  indexdb srcdir\n";
        print STDERR "  hashpassword srcdir\n";
+       print STDERR "  aggregateinternal srcdir [htmlext]\n";
        exit 1;
 }
 
@@ -120,6 +133,9 @@ elsif ($mode eq 'hashpassword') {
 elsif ($mode eq 'indexdb') {
        indexdb(@ARGV);
 }
+elsif ($mode eq 'aggregateinternal') {
+       aggregateinternal(@ARGV);
+}
 else {
        usage();
 }