python 3.2 UnicodeEncodeError : le codec 'charmap' ne peut pas encoder le caractère '. \u2013 ' en position 9629 : le caractère correspond à <undefined>.

Question

python 3.2 UnicodeEncodeError : le codec 'charmap' ne peut pas encoder le caractère '. \u2013 ' en position 9629 : le caractère correspond à <undefined>.

Demandé el 2 de Mai, 2013: Quand la question a-t-elle été
175706 affichage: Nombre de visites la question a
5 Réponses: Nombre de réponses aux questions
Résolu: Situation réelle de la question

J'essaie de faire un script qui récupère les données d'une base de données sqlite3, mais je me suis heurté à un problème.

Le champ dans la base de données est de type texte et contient un texte formaté en html. Voir le texte ci-dessous.

<html>
<head>
<title>Yahoo!</title>
</head>
<body>
<style type="text/css">
html {}
.yshortcuts {border-bottom:none !important;}
.ReadMsgBody {width:100%;}
.ExternalClass{width:100%;}
</style>
<table cellpadding="0" cellspacing="0" bgcolor="#ffffff">    
<tr>
<td width="550" valign="top" align="left">

    <table cellpadding="0" cellspacing="0" width="500">
        <tr>
            <td colspan="3"><img        src="http://mail.yimg.com/nq/assets/sharedmessages/v1/us/logo.gif" width="292" height="51" style="display:block;" border="0" alt="Yahoo! Mail"></td>
        </tr>
        <tr>
            <td rowspan="3" width="1" bgcolor="#c7c4ca"></td>
            <td width="498" height="1" bgcolor="#c7c4ca"></td>
            <td rowspan="3" width="1" bgcolor="#c7c4ca"></td>
        </tr>
        <tr>
            <td width="498" valign="top" align="left">
            <table cellpadding="0" cellspacing="0">
                <tr>
                    <td width="498" bgcolor="#61399d" align="left" valign="top">
                    <table cellspacing="0" cellpadding="0"><tr><td height="24"></td></tr></table>
                    <div style="font-family:Arial, Helvetica, sans-serif;font-size:23px;line-height:27px;margin-bottom:10px;color:#ffffff;margin-left:15px;"><span style="color:#ffffff;text-decoration:none;font-weight:bold;line-height:27px;">Välkommen till Yahoo! Mail.</span></div>
                    <div style="font-family:Arial, Helvetica, sans-serif;font-size:22px;line-height:26px;margin-bottom:1px;color:#ffffff;margin-left:15px;margin-bottom:7px;margin-right:15px;">Ansluta och dela går snabbt och enkelt och är tillgängligt överallt.</div>
                    </td>
                </tr>
                <tr>
                    <td><img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/b1.gif" width="498" height="18" style="display:block;" border="0"></td>
                </tr>
            </table>
            <table cellpadding="0" cellspacing="0" width="498">
                <tr>
                    <td width="292" valign="top">
                    <table cellpadding="0" cellspacing="0">
                        <tr>
                            <td><img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/grad.gif" width="292" height="9" style="display:block;"></td>
                        </tr>
                        <tr>
                            <td width="292" bgcolor="#ffffff" align="left" valign="top">
                            <table cellspacing="0" cellpadding="0"><tr><td height="11"></td></tr></table>
                            <div style="margin-left:15px;">                  
                                <div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:18px;color:#333333;margin-bottom:11px;font-weight:bold;">Det är lätt som en plätt att komma igång.</div>
                                <table cellpadding="0" cellspacing="0" width="267">
                                    <tr>
                                        <td width="16" align="left" valign="top"><div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:16px;color:#61399d;margin-bottom:9px;font-weight:bold;">1. </div></td>
                                        <td align="left" valign="top"><div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#61399d;margin-bottom:9px;"><a rel="nofollow" target="_blank" href="http://us-mg999.mail.yahoo.com/neo/launch?action=contacts" style="text-decoration:underline;color:#61399d;"><span>Lägg till alla dina kontakter på en plats</span></a>.</div></td>
                                    </tr>
                                    <tr>
                                        <td align="left" valign="top"><div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:16px;color:#61399d;margin-bottom:9px;font-weight:bold;">2. </div></td>
                                        <td align="left" valign="top"><div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#61399d;margin-bottom:9px;"><a rel="nofollow" target="_blank" href="http://mrd.mail.yahoo.com/themes" style="text-decoration:underline;color:#61399d;"><span>Anpassa din nya inkorg</span></a>.</div></td>
                                    </tr>
                                    <tr>
                                        <td align="left" valign="top"><div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:16px;color:#61399d;margin-bottom:9px;font-weight:bold;">3. </div></td>
                                        <td align="left" valign="top"><div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#61399d;"><a rel="nofollow" target="_blank" href="http://se.overview.mail.yahoo.com/mobile" style="text-decoration:underline;color:#61399d;"><span>Anslut överallt på dina mobila enheter</span></a>.</div></td>
                                    </tr>
                                </table>

                            </div>
                            </td>
                        </tr>
                        <tr><td height="13"></td></tr>
                    </table>
                    </td>
                    <td width="196" valign="top">
                    <table cellpadding="0" cellspacing="0">
                        <tr>
                            <td width="1" bgcolor="#fbfbfd" valign="top"><img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/g1.gif" width="1" height="21" style="display:block;"></td>
                            <td width="1" bgcolor="#f5f6fa" valign="top"><img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/g2.gif" width="1" height="21" style="display:block;"></td>
                            <td width="1" bgcolor="#e8eaf1" valign="top"><img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/g3.gif" width="1" height="21" style="display:block;"></td>
                            <td width="1" bgcolor="#d4d4d4"></td>
                            <td width="186" bgcolor="#f0f0f0" align="left" valign="top">  
                            <table cellspacing="0" cellpadding="0"><tr><td height="3">   </td></tr></table>
                            <div style="margin-left:11px;">
                            <div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#333333;margin-bottom:9px;"><b>Info för dig:</b></div>
                            <div style="font-family:Arial, Helvetica, sans-serif;font-size:12px;color:#43494e;line-height:18px;margin-bottom:10px;">
                            Yahoo!-ID och e-postadress:<br />
                            <div style="font-family:Arial, Helvetica, sans-serif;font-size:12px;color:#43494e;line-height:18px;">
                            Håll ditt konto och inställningar aktuella. <br><a rel="nofollow" target="_blank" href="https://edit.yahoo.com/config/eval_profile" style="text-decoration:underline;color:#61399d;"><span>Mitt konto</span></a> 
                            </div>
                            </div>
                            <table cellspacing="0" cellpadding="0"><tr><td height="20"></td></tr></table>
                            </td>
                            <td width="1" bgcolor="#dbdbdb"></td>
                            <td width="1" bgcolor="#ced2de"></td>
                            <td width="1" bgcolor="#dbdfed"></td>
                            <td width="1" bgcolor="#e8ebf3"></td>
                            <td width="1" bgcolor="#f3f4f9"></td>
                            <td width="1" bgcolor="#fafbfc"></td>
                        </tr>
                        <tr>
                            <td colspan="11"><img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/b2.gif" width="196" height="8" style="display:block;" border="0"></td>
                        </tr>
                        <tr><td height="13"></td></tr>
                    </table>
                    </td>
                    <td width="10"></td>
                </tr>
            </table>
            </td>
        </tr>
        <tr>
            <td width="498" height="1" bgcolor="#c7c4ca"></td>
        </tr>
    </table>
    <table cellpadding="0" cellspacing="0" width="500">
        <tr>
            <td align="center" valign="top">
            <table cellspacing="0" cellpadding="0"><tr><td height="10"></td></tr></table>
                <div style="font-family:Arial, Helvetica, sans-serif;font-size:11px;line-height:18px;margin-bottom:10px;">
                <a rel="nofollow" target="_blank" href="http://info.yahoo.com/legal/se/yahoo/utos.html" style="text-decoration:underline;color:#61399d;">Yahoo! Villkor för användning</a>&nbsp;&nbsp;&nbsp;|&nbsp;&nbsp;&nbsp;<a rel="nofollow" target="_blank" href="http://info.yahoo.com/legal/se/yahoo/mail/atos.html" style="text-decoration:underline;color:#61399d;">Yahoo! Mail –Villkor för användning</a>&nbsp;&nbsp;&nbsp;|&nbsp;&nbsp;&nbsp;<a rel="nofollow" target="_blank" href="http://info.yahoo.com/privacy/se/yahoo/details.html" style="text-decoration:underline;color:#61399d;">Yahoo! Sekretesspolicy</a>
                </div>
            </td>
        </tr>
        <tr>
            <td align="left" valign="top">
                <div style="font-family:Arial, Helvetica, sans-serif;font-size:11px;line-height:14px;color:#545454;margin-left:16px;margin-right:14px;">Var god svara inte på detta meddelande. Detta är ett servicemeddelande som rör din användning av Yahoo! Mail. Om du vill veta mer om Yahoo!s användning av personlig information, inklusive användning av webb-beacons i HTML-baserad e-post, kan du läsa vår Yahoo! Sekretesspolicy. Yahoo!s adress är 701 First Avenue, Sunnyvale, CA 94089, USA.<br /><br />RefID: lp-1037111</div>
            </td>
        </tr>
    </table>

    </td>
</tr>
</table>
<img width="1" height="1" src="http://pclick.internal.yahoo.com/p/s=2143684696">
</body>
</html>`

et le code python qui essaie d'extraire les données est le suivant.

>>> import sqlite3
>>> conn = sqlite3.connect('C:/temp/Mobils/export/com.yahoo.mobile.client.android.mail/databases/mail.db')
>>> c = conn.cursor()
>>> conn.row_factory=sqlite3.Row
>>> c.execute('select body from messages_1 where _id=7')
<sqlite3.Cursor object at 0x0000000001FB78F0>
>>> r = c.fetchone()
>>> r.keys()
['body']
>>> print(r['body'])
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python32\lib\encodings\cp850.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u2013' in position 9629: character maps to <undefined>
>>>

Quelqu'un a-t-il une idée de la façon d'imprimer/écrire ceci dans un fichier ? Oui, je sais qu'il s'agit d'une impression vers stdout, mais j'obtiens la même erreur UnicodeEncodeError lorsque j'essaie d'écrire dans un fichier. J'ai essayé à la fois la méthode write d'un objet fichier et la méthode print(r['body'], file=f) .

Demandé el 2 de Mai, 2013 par Mattias

Answer 1

5 Réponses

Answer 2

239voto

Mark Ransom Points 132545

Lorsque vous ouvrez le fichier dans lequel vous voulez écrire, ouvrez-le avec un encodage spécifique qui peut gérer tous les caractères.

with open('filename', 'w', encoding='utf-8') as f:
    print(r['body'], file=f)

Répondu el 2 de Mai, 2013 par Mark Ransom (132545 Points )

Answer 3

147voto

Kattern Points 1898

Peut-être un peu tard pour répondre. Il se trouve que j'ai rencontré le même problème aujourd'hui. J'ai découvert que sous Windows, vous pouvez changer l'encodeur de la console en utf-8 ou un autre codeur qui peut représenter vos données. Vous pouvez ensuite l'imprimer sur sys.stdout .

Tout d'abord, exécutez le code suivant dans la console :

chcp 65001
set PYTHONIOENCODING=utf-8

Ensuite, commencez python faire tout ce que vous voulez.

Répondu el 20 de Janvier, 2015 par Kattern (1898 Points )

Answer 4

48voto

abarnert Points 94246

Alors que Python 3 traite l'Unicode, la console Windows ou le tty POSIX dans lequel vous vous exécutez ne le fait pas. Ainsi, chaque fois que vous print ou d'envoyer des chaînes Unicode à l'adresse suivante stdout et qu'il est attaché à une console/tty, Python doit le coder.

Le message d'erreur vous indique indirectement le jeu de caractères que Python a essayé d'utiliser :

  File "C:\Python32\lib\encodings\cp850.py", line 19, in encode

Cela signifie que le jeu de caractères est cp850 .

Vous pouvez vérifier par vous-même que ce jeu de caractères n'a pas le caractère approprié en faisant simplement '\u2013'.encode('cp850') . Vous pouvez également rechercher le cp850 en ligne (par exemple, sur le site Wikipedia ).

Il est possible que Python se trompe, et que votre console soit réellement configurée pour, disons, UTF-8. (Dans ce cas, il suffit de définir manuellement sys.stdout.encoding='utf-8' .) Il est également possible que vous ayez voulu que votre console soit configurée en UTF-8 mais que vous ayez fait une erreur. (Dans ce cas, vous voudrez probablement faire un suivi sur superuser.com).

Mais si tout va bien, vous ne pouvez tout simplement pas imprimer ce caractère. Vous devrez le coder manuellement avec l'un des gestionnaires d'erreur non stricts. Par exemple :

>>> '\u2013'.encode('cp850')
UnicodeEncodeError: 'charmap' codec can't encode character '\u2013' in position 0: character maps to <undefined>
>>> '\u2013'.encode('cp850', errors='replace')
b'?'

Alors, comment imprimer une chaîne qui ne s'affiche pas sur votre console ?

Vous peut remplacer chaque print avec quelque chose comme ça :

>>> print(r['body'].encode('cp850', errors='replace').decode('cp850'))
?

mais ça va devenir très vite ennuyeux.

La chose la plus simple à faire est de définir le gestionnaire d'erreur sur sys.stdout :

>>> sys.stdout.errors = 'replace'
>>> print(r['body'])
?

Pour l'impression vers un fichier, les choses sont à peu près les mêmes, sauf qu'il n'est pas nécessaire de définir le paramètre f.errors après coup, vous pouvez le définir au moment de la construction. Au lieu de cela :

with open('path', 'w', encoding='cp850') as f:

Faites-le :

with open('path', 'w', encoding='cp850', errors='replace') as f:

Ou, bien sûr, si vous pouvez utiliser des fichiers UTF-8, faites-le, comme le montre la réponse de Mark Ransom :

with open('path', 'w', encoding='utf-8') as f:

Répondu el 2 de Mai, 2013 par abarnert (94246 Points )

Answer 5

14voto

Raj Points 152

Pour moi en utilisant export PYTHONIOENCODING=UTF-8 avant d'exécuter la commande python a fonctionné .

Répondu el 28 de Mai, 2019 par Raj (152 Points )

Answer 6

5voto

Noone Points 71

Sous Windows (git bash) :

chcp.com 65001
export PYTHONIOENCODING=utf-8

Et ensuite vous pouvez exécuter votre script, dans mon cas c'était flask donc finalement il pouvait décoder l'utf sur mon site web à partir de la db mysql....

Répondu el 27 de Avril, 2021 par Noone (71 Points )

python 3.2 UnicodeEncodeError : le codec 'charmap' ne peut pas encoder le caractère '. \u2013 ' en position 9629 : le caractère correspond à <undefined>.

Réponses

Questions en vedette

Top Tags

Prograide.com

Powered by:

python 3.2 UnicodeEncodeError : le codec 'charmap' ne peut pas encoder le caractère '. \u2013 ' en position 9629 : le caractère correspond à <undefined>.

Réponses

Questions en vedette

Top Tags

Dans notre réseau

Prograide.com

Powered by: