Grattage : SSL : erreur CERTIFICATE_VERIFY_FAILED pour http://en.wikipedia.org

Question

J'utilise le code de "Web Scraping with Python" et j'ai toujours ce problème de certificat :

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

L'erreur est :

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

J'ai aussi utilisé scrapy, mais j'ai eu le problème suivant : command not found : scrapy (j'ai essayé toutes sortes de solutions en ligne mais aucune ne fonctionne... vraiment frustrant).

Answer 1

Il fut un temps où je me heurtais à ce problème. Si vous utilisez macOS, allez dans Macintosh HD > Applications > dossier Python3.6 (ou toute autre version de python que vous utilisez) > double-cliquez sur le fichier "Install Certificates.command". :D

Answer 2

Cette commande de terminal :

open /Applications/Python\ 3.7/Install\ Certificates.command

Trouvé ici : https://stackoverflow.com/a/57614113/6207266

Cela a résolu le problème pour moi. Avec ma configuration

pip install --upgrade certifi

n'a pas eu d'impact.

Answer 3

Pour résoudre ce problème :

Il suffit d'installer les certificats Python ! Un problème courant sur macOS.

Ouvrez ces fichiers :

Install Certificates.command
Update Shell Profile.command

Exécutez simplement ces deux scripts et vous n'aurez plus ce problème.

J'espère que cela vous aidera !

Answer 4

Pour les utilisateurs novices, vous pouvez aller dans le dossier Applications et développer le dossier Python 3.7. Exécutez d'abord (ou double-cliquez) la commande Installer les certificats, puis la commande Mettre à jour le profil du shell.

Answer 5

Jetez un coup d'œil à cet article, il semble que pour les versions ultérieures de Python, les certificats ne sont pas préinstallés, ce qui semble causer cette erreur. Vous devriez pouvoir exécuter la commande suivante pour installer le paquet certifi : /Applications/Python\ 3.6/Install\ Certificates.command

Poste 1 : urllib et l'erreur " SSL : CERTIFICATE_VERIFY_FAILED ".

Poste 2 : Erreur Airbrake : urlopen error [SSL : CERTIFICATE_VERIFY_FAILED] La vérification du certificat a échoué : impossible d'obtenir le certificat de l'émetteur local.