Comment récupérer le JSON d'une page web dans un script de Python ?

Question

J'ai le code suivant dans un de mes scripts :

#
# url is defined above.
#
jsonurl = urlopen(url)

#
# While trying to debug, I put this in:
#
print jsonurl

#
# Was hoping text would contain the actual json crap from the URL, but seems not...
#
text = json.loads(jsonurl)
print text

Ce que je veux faire, c'est obtenir le {{.....etc.....}} que je vois sur l'URL lorsque je la charge dans Firefox dans mon script afin que je puisse analyser une valeur à partir de celle-ci. J'ai fait des tonnes de recherches sur Google, mais je n'ai pas trouvé de réponse satisfaisante à la question de savoir comment obtenir l'adresse de l'URL. {{...}} à partir d'une URL se terminant par .json en un objet dans un script Python.

Answer 1

Obtenir des données à partir de l'URL, puis appeler json.loads par exemple

Exemple Python3 :

import urllib.request, json 
with urllib.request.urlopen("http://maps.googleapis.com/maps/api/geocode/json?address=google") as url:
    data = json.loads(url.read().decode())
    print(data)

Exemple Python2 :

import urllib, json
url = "http://maps.googleapis.com/maps/api/geocode/json?address=google"
response = urllib.urlopen(url)
data = json.loads(response.read())
print data

Le résultat serait quelque chose comme ceci :

{
"results" : [
    {
    "address_components" : [
        {
            "long_name" : "Charleston and Huff",
            "short_name" : "Charleston and Huff",
            "types" : [ "establishment", "point_of_interest" ]
        },
        {
            "long_name" : "Mountain View",
            "short_name" : "Mountain View",
            "types" : [ "locality", "political" ]
        },
        {
...

Answer 2

Je suppose que vous voulez en fait obtenir des données à partir de l'URL :

jsonurl = urlopen(url)
text = json.loads(jsonurl.read()) # <-- read from it

Ou encore, consultez Décodeur JSON dans le demande bibliothèque.

import requests
r = requests.get('someurl')
print r.json() # if response type was set to JSON, then you'll automatically have a JSON response here...

Answer 3

Ceci permet d'obtenir un dictionnaire au format JSON à partir d'une page web avec Python 2.X et Python 3.X :

#!/usr/bin/env python

try:
    # For Python 3.0 and later
    from urllib.request import urlopen
except ImportError:
    # Fall back to Python 2's urllib2
    from urllib2 import urlopen

import json

def get_jsonparsed_data(url):
    """
    Receive the content of ``url``, parse it as JSON and return the object.

    Parameters
    ----------
    url : str

    Returns
    -------
    dict
    """
    response = urlopen(url)
    data = response.read().decode("utf-8")
    return json.loads(data)

url = ("http://maps.googleapis.com/maps/api/geocode/json?"
       "address=googleplex&sensor=false")
print(get_jsonparsed_data(url))

Voir aussi : Exemple de lecture et d'écriture pour JSON

Answer 4

J'ai trouvé que c'était le moyen le plus simple et le plus efficace d'obtenir du JSON à partir d'une page web en utilisant Python 3 :

import json,urllib.request
data = urllib.request.urlopen("https://api.github.com/users?since=100").read()
output = json.loads(data)
print (output)

Answer 5

Vous avez besoin import requests et utiliser la méthode json() :

source = requests.get("url").json()
print(source)

Bien sûr, cette méthode fonctionne aussi :

import json,urllib.request
data = urllib.request.urlopen("url").read()
output = json.loads(data)
print (output)

json.loads le décodera en un objet Python en utilisant ceci tableau Par exemple, un objet JSON deviendra un objet Python. dict .