Requêtes Python et Unicode

Question

J'utilise la bibliothèque requests pour interroger l'API Diffbot afin d'obtenir le contenu d'un article à partir de l'url d'une page web. Lorsque je visite une URL de requête que j'ai créée dans mon navigateur, elle renvoie un objet JSON avec le texte en Unicode (n'est-ce pas ?) par exemple (j'ai raccourci le texte un peu) :

{"icon" : "http://mexico.cnn.com/images/ico\_mobile.jpg", "text" : "CIUDAD DE MÉXICO (CNNMéxico) \u2014 Kassandra Guazo Cano a 32 ans, mais ce dimanche dimanche, elle a participé pour la première fois à une élection. \n\ "Je n'avais pas Je n'avais pas sorti ma carte de l'IFE (Institut fédéral électoral) parce que lorsque je l'ai fait, je n'ai pas eu le temps d'en prendre connaissance. Je n'avais pas sorti mon IFE (Institut Fédéral Electoral) car lorsque vous faites les démarches administratives, il y a beaucoup de moqueries lorsqu'ils voient que votre nom ne coïncide pas avec votre nom et d'autres documents en fonction de votre nouvelle identité. Je n'ai pas pris mon IFE (Institut Fédéral Electoral) (carte d'identité) parce que quand vous faites les papiers, il y a beaucoup de moqueries quand ils voient que votre nom ne coïncide pas avec votre nom. \nS ánchez affirme que les candidats ne font l'objet d'aucune discrimination, mais l'expérience de la L'expérience de Kassanda est différente : \Il faut payer pour un diplômé, deux témoins experts (dont un endocrinologue) et un médecin. (dont un endocrinologue). En outre, le juge rend une décision pour et s'il n'est pas favorable, il faut attendre quatre ans de plus pour le procès. quatre ans pour saisir à nouveau l'état civil. \nAnte cette le Conseil pour la prévention et l'élimination de la choline, les transgenres votent - Mexique : Voto 2012 - Voto 2012 - Mexique : Voto 2012 - Voto 2012. les transgenres votent - Mexique : Voto 2012 - National", "url" : "http://mexico.cnn.com/nacional/2012/07/02/con-apariencia-de-mujer-e-identidad-masculina-los-transexuales-votan", "xpath" : "/HTML[1]/BODY[1]/SECTION[5]/DIV[1]/ARTICLE[1]/DIV[1]/DIV[1]/DIV[1]/DIV[6]"}.

Lorsque j'utilise la bibliothèque de requêtes python comme suit :

def get_article(self, params={}):
  api_endpoint = 'http://www.diffbot.com/api/article'
  params.update({
    'token': self.dev_token,
    'format': self.output_format,
  })
  req = requests.get(api_endpoint, params=params)
  return json.loads(req.content)

Il renvoie ceci (notez à nouveau que j'ai quelque peu raccourci le texte) :

{u'url' : u'http://mexico.cnn.com/nacional/2012/07/02/con-apariencia-de-mujer-e-identidad-masculina-los-transexuales-votan', u'text' : u'CITY OF M \xc9XICO (CNNM \xe9xico ) \u2014 K Cano a 32 ans \xf1os , pero este domingo particip \xf3 pour la première fois en una elecci \xf3n.\n "No hab \xeda J'ai retiré mon (diplôme de) l'IFE (Institut fédéral électoral) car à hacOyuky Mart \xednez Col \xedn , tambi \xe9n transg \xe9nero , y que estaba acompa \xf1ada de ses deux fils et de sa mère \xe1.\nAmbas travaillent en tant qu'activistes au sein du Centre de soutien et d'aide à l'identité Identidades Trans, A.C., où ils participent à une campagne pour l'obtention du statut de réfugié. \xf1a de prévention \xf3n des maladies sexuelles. \n "Quisi \xe9ramos que nous ne soyons pas seulement ne nous considèrent pas seulement comme des travailleuses du sexe ou des coiffeuses, mais que nous nous battons pour nos droits", déclare Kristin. pour nos droits", dit Kassandra en souriant. \xede brandit sa carte d'électeur et lève son pouce encré.', u'title' : u'Con Les personnes transgenres sont des personnes qui ont une apparence féminine et une identité masculine. \xe9nero v M \xe9xico : Voto 2012 - Nacional', u'xpath' : u'/HTML[1]/BODY[1]/SECTION[5]/DIV[1]/ARTICLE[1]/DIV[1]/DIV[6]', u'icon' : u'http://mexico.cnn.com/images/ico\_mobile.jpg'}

Je ne comprends pas très bien l'Unicode. Comment m'assurer que ce que j'obtiens avec les requêtes est toujours Unicode ?

Answer 1

Vous pouvez utiliser req.text au lieu de req.content pour s'assurer d'obtenir l'Unicode. Les méthodes sont décrites dans :

http://docs.python-requests.org/en/latest/api/#main-interface

Answer 2

En ce qui concerne la question "Je ne comprends pas très bien l'unicode", il y a un un abécédaire divertissant sur Unicode par Joel Spolsky et le site officiel de l'association Python Unicode HowTo qui se lit en 10 minutes et couvre tout ce qui est spécifique à Python.

Les demande de documents dit que cette requête renverra toujours unicode, et l'exemple de contenu que vous avez posté est en fait unicode (remarquez l'élément u'' syntaxe de la chaîne de caractères ? C'est la syntaxe de Python pour les chaînes unicode.), il n'y a donc pas de problème. Notez que si vous visualisez la réponse JSON dans un navigateur web, l'élément u'' ne sera pas présent car il s'agit d'une propriété de la façon dont Python stocke une chaîne de caractères.

Si l'unicode est important pour votre application, n'essayez pas de vous débrouiller sans vraiment connaître l'unicode. Les problèmes liés aux jeux de caractères sont extrêmement frustrants à déboguer si vous ne savez pas ce que vous faites. La lecture des deux articles mentionnés ci-dessus peut prendre une demi-heure.