doc/bugs/openid_login_fails_wirth_Could_not_determine_ID_provider_from_URL.mdwn

   1 On some ikiwikis that I run, I get the following error on OpenID logins:
   2
   3     no_identity_server: Could not determine ID provider from URL.
   4
   5 > Is this fixed now that [[!debbug 738493]] has been fixed? --[[smcv]]
   6
   7 > > No, it isn't. I still get: `no_identity_server: Could not determine ID provider from URL.` from the latest ikiwiki in jessie (3.20140831), with liblwpx-paranoidagent-perl 1.10-3. Debugging tells me it's still related to the `500 Can't verify SSL peers without knowing which Certificate Authorities to trust` error, so probably because `Mozilla::CA` is not packaged ([[!debbug 702124]]). I still had to apply the patch to disable SSL verification at the end of this file. However, setting `$ENV{PERL_LWP_SSL_CA_PATH} = '/etc/ssl/certs';` seems to work now, so the following dumb patch works:
   8 > >
   9 > > ~~~~
  10 > > --- /usr/bin/ikiwiki.orig       2014-09-08 15:48:35.715868902 -0400
  11 > > +++ /usr/bin/ikiwiki    2014-09-08 15:50:29.666779878 -0400
  12 > > @@ -225,4 +225,5 @@
  13 > >         }
  14 > >  }
  15 > >
  16 > > +$ENV{PERL_LWP_SSL_CA_PATH} = '/etc/ssl/certs';
  17 > >  main;
  18 > > ~~~~
  19 > >
  20 > > may not be the best place to fiddle around with this, but then again it makes sense that it applies to the whole program. it should probably be reported upstream as well. also in my git repo. -- [[anarcat]]
  21
  22 [[!template  id=gitbranch branch=anarcat/dev/ssl_ca_path author="[[anarcat]]"]]
  23
  24 I seem recall having that error before, and fixing it, but it always seems to come back and I forget how to fix it. So I'll just open this bug and document it if i can figure it out... -- [[users/anarcat]]
  25
  26 The Perl module manual says:
  27
  28 >            "no_identity_server"
  29 >               (CV) Tried to do discovery on a URL that does not seem to have any providers at all.
  30
  31 Yet on the server side, I see no request coming in on the OpenID provider...
  32
  33 Adding debugging helps in figuring out wtf is going on:
  34
  35 ~~~~
  36 anarcat@marcos:~$ diff -u ~/src/ikiwiki/IkiWiki/Plugin/openid.pm /usr/share/perl5/IkiWiki/Plugin/openid.pm
  37 --- /home/anarcat/src/ikiwiki/IkiWiki/Plugin/openid.pm  2014-02-03 20:21:09.502878631 -0500
  38 +++ /usr/share/perl5/IkiWiki/Plugin/openid.pm   2014-04-13 11:45:25.413297420 -0400
  39 @@ -257,6 +256,7 @@
  40         return Net::OpenID::Consumer->new(
  41                 ua => $ua,
  42                 args => $q,
  43 +               debug => 1,
  44                 consumer_secret => sub { return shift()+$secret },
  45                 required_root => auto_upgrade_https($q, $cgiurl),
  46         );
  47 ~~~~
  48
  49 In my case, I see:
  50
  51
  52 ~~~~
  53 [Sun Apr 13 11:45:35.796531 2014] [cgi:error] [pid 7299] [client 162.223.3.24:39547] AH01215: [DEBUG Net::OpenID::Consumer] Cache MISS for https://id.koumbit.net/anarcat, referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  54 [Sun Apr 13 11:45:35.842520 2014] [cgi:error] [pid 7299] [client 162.223.3.24:39547] AH01215: [DEBUG Net::OpenID::Consumer] Cache MISS for https://id.koumbit.net/anarcat, referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  55 [Sun Apr 13 11:45:35.845603 2014] [cgi:error] [pid 7299] [client 162.223.3.24:39547] AH01215: [DEBUG Net::OpenID::Consumer] semantic info (https://id.koumbit.net/anarcat) = , referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  56 [Sun Apr 13 11:45:35.845672 2014] [cgi:error] [pid 7299] [client 162.223.3.24:39547] AH01215: [DEBUG Net::OpenID::Consumer] fail(no_identity_server) Could not determine ID provider from URL., referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  57 ~~~~
  58
  59 There are three places in the code the original error message happens:
  60
  61 * Net::OpenID::claimed_identity
  62 * Net::OpenID::verified_identity
  63 * Net::OpenID::_find_openid_server
  64
  65 We'll look at the last one because it's where the URL data is actually fetched.
  66
  67 [[!format perl """
  68 sub _find_openid_server {
  69     my Net::OpenID::Consumer $self = shift;
  70     my $url = shift;
  71     my $final_url_ref = shift;
  72
  73     my $sem_info = $self->_find_semantic_info($url, $final_url_ref) or
  74         return;
  75
  76     return $self->_fail("no_identity_server") unless $sem_info->{"openid.server"};
  77     $sem_info->{"openid.server"};
  78 }
  79 """]]
  80
  81 From there we look at `_find_semantic_info()`, which is supposed to hit the OpenID server, but doesn't somehow.... By cranking up debugging, we can see that the consumer fails to verify the HTTPS signature on the host:
  82
  83 ~~~~
  84 [Sun Apr 13 11:58:30.284511 2014] [cgi:error] [pid 11141] [client 162.223.3.24:39563] AH01215: [DEBUG Net::OpenID::Consumer] url dump (https://id.koumbit.net/anarcat, SCALAR(0x3275ac0)) = 500 Can't verify SSL peers without knowing which Certificate Authorities to trust, referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  85 [Sun Apr 13 11:58:30.284551 2014] [cgi:error] [pid 11141] [client 162.223.3.24:39563] AH01215: , referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  86 [Sun Apr 13 11:58:30.284573 2014] [cgi:error] [pid 11141] [client 162.223.3.24:39563] AH01215: This problem can be fixed by either setting the PERL_LWP_SSL_CA_FILE, referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  87 [Sun Apr 13 11:58:30.284593 2014] [cgi:error] [pid 11141] [client 162.223.3.24:39563] AH01215: envirionment variable or by installing the Mozilla::CA module., referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  88 [Sun Apr 13 11:58:30.284597 2014] [cgi:error] [pid 11141] [client 162.223.3.24:39563] AH01215: , referer: http://cats.orangeseeds.org/ikiwiki.cgi?do=signin&action=verify&openid_identifier=https%3A%2F%2Fid.koumbit.net%2Fanarcat
  89 ~~~~
  90
  91 To get this little wonder, I had to change the `_find_semantic_info()` as followed:
  92
  93 [[!format perl """
  94 sub _find_semantic_info {
  95     my Net::OpenID::Consumer $self = shift;
  96     my $url = shift;
  97     my $final_url_ref = shift;
  98
  99     my $doc = $self->_get_url_contents($url, $final_url_ref);
 100     $self->_debug("url dump ($url, $final_url_ref) = " . $doc) if $self->{debug};
 101     my $info = _document_to_semantic_info($doc);
 102     $self->_debug("semantic info ($url) = " . join(", ", map { $_.' => '.$info->{$_} } keys %$info)) if $self->{debug};
 103
 104     return $info;
 105 }
 106 """]]
 107
 108 A minimal test case would be:
 109
 110 ~~~~
 111 perl -e 'use LWPx::ParanoidAgent;
 112   print $LWPx::ParanoidAgent::VERSION, " $]: ";
 113   print length(LWPx::ParanoidAgent->new->get
 114       ("https://id.koumbit.net/anarcat")
 115       ->decoded_content), "\n";'
 116 ~~~~
 117
 118 And the results vary according to the version of perl:
 119
 120 * wheezy: 1.07 5.014002: 5720
 121 * jessie: 1.10 5.018002: 398
 122
 123 Thanks [jwz](http://www.jwz.org/blog/2014/03/apple-broke-lwp-in-a-new-and-exciting-way-on-10-9-2/) for that.. Mozilla::CA *could* have been packaged in Debian, except it overlaps with the `ca-certificates` package, so it was [basically barred entry](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=702124).
 124
 125 I tried the workaround of hardcoding the path to the CA root, using `PERL_LWP_SSL_CA_PATH=/etc/ssl/certs`, but then I hit *another* bug in LWP: [#738493](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=738493).
 126
 127 Note that this bug is similar to [[bugs/ssl_certificates_not_checked_with_openid/]], but backwards: it checks the SSL certs but then fails to verify.
 128
 129 I filed this bug in the Debian BTS as [#702124](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=702124). Downgrading to wheezy's version of LWPx::ParanoidAgent doesn't fix the problem, instead i get this error:
 130
 131     500 Can't read entity body: Resource temporarily unavailable
 132
 133 ... yet the commandline client works fine... I'm out of ideas for this sucker.
 134
 135 Update: i found a way to reproduce the problem even with LWPx::ParanoidAgent 1.07:
 136
 137 ~~~~
 138 $ perl -e 'use LWPx::ParanoidAgent;
 139   print $LWPx::ParanoidAgent::VERSION, " $]\n";
 140   $ua = new LWPx::ParanoidAgent; for (my $i = 0; $i< 10 ; $i++) { $c = LWPx::ParanoidAgent->new->get
 141       ("https://id.koumbit.net/anarcat")
 142       ->decoded_content; if (length($c) < 100) { print $c; } else { print length($c),"\n";}}'
 143 1.07 5.018002
 144 5720
 145 500 Can't read entity body: Ressource temporairement non disponible
 146 500 Can't read entity body: Ressource temporairement non disponible
 147 500 Can't read entity body: Ressource temporairement non disponible
 148 500 Can't read entity body: Ressource temporairement non disponible
 149 500 Can't read entity body: Ressource temporairement non disponible
 150 500 Can't read entity body: Ressource temporairement non disponible
 151 500 Can't read entity body: Ressource temporairement non disponible
 152 500 Can't read entity body: Ressource temporairement non disponible
 153 500 Can't read entity body: Ressource temporairement non disponible
 154 ~~~~
 155
 156 Workaround - disable error checking:
 157
 158 ~~~~
 159 --- /home/anarcat/src/ikiwiki/IkiWiki/Plugin/openid.pm  2014-02-03 20:21:09.502878631 -0500
 160 +++ /usr/share/perl5/IkiWiki/Plugin/openid.pm   2014-04-13 16:00:06.875744596 -0400
 161 @@ -237,7 +237,7 @@
 162
 163         my $ua;
 164         eval q{use LWPx::ParanoidAgent};
 165 -       if (! $@) {
 166 +       if (! $@ && 0) {
 167                 $ua=LWPx::ParanoidAgent->new;
 168         }
 169         else {
 170 ~~~~
 171
 172 > I get the same trouble with OpenID and some locally installed versions of IkiWiki on Debian wheezy (server) as well as on 13.10 Ubuntu (laptop). To be precise I hit the *other* bug in LWP: [#738493](https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=738493).
 173 >
 174 > My only workaround for now was to fix `PERL_LWP_SSL_VERIFY_HOSTNAME` to 0 directly in `ikiwiki` :-(  -- [[users/bbb]]
 175
 176 ~~~~
 177 --- /usr/bin/ikiwiki.orig       2014-09-08 15:48:35.715868902 -0400
 178 +++ /usr/bin/ikiwiki    2014-09-08 15:48:38.895947911 -0400
 179 @@ -225,4 +225,5 @@
 180         }
 181  }
 182
 183 +$ENV{PERL_LWP_SSL_VERIFY_HOSTNAME} = 0;
 184  main;
 185 ~~~~
 186