Demandes asynchrones avec Python requests

Question

J'ai essayé l'échantillon fourni dans la documentation de l'application bibliothèque des demandes pour python.

Avec async.map(rs) J'obtiens les codes de réponse, mais je veux obtenir le contenu de chaque page demandée. Ceci, par exemple, ne fonctionne pas :

out = async.map(rs)
print out[0].content

Answer 1

Nota

La réponse ci-dessous est no applicable aux demandes v0.13.0+. La fonctionnalité asynchrone a été déplacée vers grequests après que cette question ait été écrite. Cependant, vous pourriez simplement remplacer requests con grequests ci-dessous et cela devrait fonctionner.

J'ai laissé cette réponse telle quelle pour refléter la question originale qui concernait l'utilisation des requêtes < v0.13.0.

---

Pour effectuer plusieurs tâches avec async.map de manière asynchrone vous devez le faire :

1. Définissez une fonction pour ce que vous voulez faire avec chaque objet (votre tâche).
2. Ajoutez cette fonction comme un crochet d'événement dans votre requête
3. Appelez async.map sur une liste de toutes les demandes / actions

Exemple :

from requests import async
# If using requests > v0.13.0, use
# from grequests import async

urls = [
    'http://python-requests.org',
    'http://httpbin.org',
    'http://python-guide.org',
    'http://kennethreitz.com'
]

# A simple task to do to each response object
def do_something(response):
    print response.url

# A list to hold our things to do via async
async_list = []

for u in urls:
    # The "hooks = {..." part is where you define what you want to do
    # 
    # Note the lack of parentheses following do_something, this is
    # because the response will be used as the first argument automatically
    action_item = async.get(u, hooks = {'response' : do_something})

    # Add the task to our list of things to do via async
    async_list.append(action_item)

# Do our list of things to do via async
async.map(async_list)

Answer 2

async est maintenant un module indépendant : grequests .

Voir ici : https://github.com/kennethreitz/grequests

Et là : Méthode idéale pour envoyer plusieurs requêtes HTTP via Python ?

installation :

$ pip install grequests

l'usage :

construire une pile :

import grequests

urls = [
    'http://www.heroku.com',
    'http://tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://kennethreitz.com'
]

rs = (grequests.get(u) for u in urls)

envoyer la pile

grequests.map(rs)

Le résultat ressemble à

[<Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>]

Les grequests ne semblent pas fixer de limite pour les demandes simultanées, c'est-à-dire lorsque plusieurs demandes sont envoyées au même serveur.

Answer 3

Peut-être demandes-futures est un autre choix.

from requests_futures.sessions import FuturesSession

session = FuturesSession()
# first request is started in background
future_one = session.get('http://httpbin.org/get')
# second requests is started immediately
future_two = session.get('http://httpbin.org/get?foo=bar')
# wait for the first request to complete, if it hasn't already
response_one = future_one.result()
print('response one status: {0}'.format(response_one.status_code))
print(response_one.content)
# wait for the second request to complete, if it hasn't already
response_two = future_two.result()
print('response two status: {0}'.format(response_two.status_code))
print(response_two.content)

Il est également recommandé dans le document de bureau . Si vous ne voulez pas participer à un événement, c'est un bon événement.

Answer 4

Je sais que ce sujet est clos depuis un moment, mais j'ai pensé qu'il pourrait être utile de promouvoir une autre solution asynchrone construite sur la bibliothèque requests.

list_of_requests = ['http://moop.com', 'http://doop.com', ...]

from simple_requests import Requests
for response in Requests().swarm(list_of_requests):
    print response.content

Les documents sont ici : http://pythonhosted.org/simple-requests/

Answer 5

Depuis quelque temps, j'utilise des requêtes python pour les appels asynchrones contre l'API gist de github.

Pour un exemple, voir le code ici :

https://github.com/davidthewatson/flasgist/blob/master/views.py#L60-72

Ce style de python n'est peut-être pas l'exemple le plus clair, mais je peux vous assurer que le code fonctionne. L