séquence d'octets non valide pour l'encodage "UTF8".

Question

Je suis J'essaie d'importer des données dans ma base de données. J'ai donc créé une table temporaire,

create temporary table tmp(pc varchar(10), lat decimal(18,12), lon decimal(18,12), city varchar(100), prov varchar(2));

Et maintenant j'essaie d'importer les données ,

 copy tmp from '/home/mark/Desktop/Canada.csv' delimiter ',' csv

Mais ensuite j'obtiens l'erreur,

ERROR:  invalid byte sequence for encoding "UTF8": 0xc92c

Comment puis-je réparer ça ? Dois-je modifier l'encodage de l'ensemble de ma base de données (si oui, comment ?) ou puis-je modifier uniquement l'encodage de mon fichier tmp table ? Ou dois-je tenter de modifier l'encodage du fichier ?

Answer 1

Si vous devez stocker des données UTF8 dans votre base de données, vous avez besoin d'une base de données qui accepte UTF8. Vous pouvez vérifier l'encodage de votre base de données dans pgAdmin. Il suffit de faire un clic droit sur la base de données et de sélectionner "Propriétés".

Mais cette erreur semble vous indiquer qu'il y a des données UTF8 invalides dans votre fichier source. Cela signifie que le copy a détecté ou deviné que vous lui fournissez un fichier UTF8.

Si vous êtes sous une variante d'Unix, vous pouvez vérifier l'encodage (plus ou moins) avec la commande file utilitaire.

$ file yourfilename
yourfilename: UTF-8 Unicode English text

(Je pense que cela fonctionnera aussi sur les Macs dans le terminal.) Je ne sais pas comment faire sous Windows.

Si vous utilisez ce même utilitaire sur un fichier provenant des systèmes Windows (c'est-à-dire un fichier qui est pas encodé en UTF8), il affichera probablement quelque chose comme ceci :

$ file yourfilename
yourfilename: ASCII text, with CRLF line terminators

Si les choses restent bizarres, vous pouvez essayer de convertir vos données d'entrée dans un encodage connu, de changer l'encodage de votre client, ou les deux. (Nous étendons vraiment les limites de mes connaissances sur les encodages).

Vous pouvez utiliser le iconv pour modifier l'encodage des données d'entrée.

iconv -f original_charset -t utf-8 originalfile > newfile

Vous pouvez changer l'encodage de psql (le client) en suivant les instructions de la page Support des jeux de caractères . Sur cette page, recherchez la phrase "Pour activer la conversion automatique des jeux de caractères".

Answer 2

psql=# copy tmp from '/path/to/file.csv' with delimiter ',' csv header encoding 'windows-1251';

Ajout de encoding a fonctionné dans mon cas.

Answer 3

Cette erreur signifie que l'encodage des enregistrements dans le fichier est différent par rapport à la connexion. Dans ce cas, iconv peut retourner l'erreur, parfois même malgré le drapeau //IGNORE :

iconv -f ASCII -t utf-8//IGNORE < b.txt > /a.txt

iconv : séquence d'entrée illégale à la position (un certain nombre)

L'astuce consiste à trouver les caractères incorrects et à les remplacer. Pour le faire sous Linux, utilisez l'éditeur "vim" :

vim (votre fichier texte), appuyez sur le bouton "ESC" : et tapez ":goto (numéro renvoyé par iconv)".

Pour trouver les caractères non ASCII, vous pouvez utiliser la commande suivante :

grep --color='auto' -P "[ \x80 - \xFF ]"

Si vous supprimez des caractères incorrects, vérifiez si vous avez vraiment besoin de convertir votre fichier : le problème est probablement déjà résolu.

Answer 4

Cela dépend du type de machine/encodage qui a généré votre fichier d'importation.

Si vous l'obtenez à partir d'une version anglaise ou ouest-européenne de Windows, votre meilleure chance est probablement de le régler sur 'WIN1252'. Si vous l'obtenez d'une autre source, consultez la liste des codages de caractères ici :

http://www.postgresql.org/docs/8.3/static/multibyte.html

Si vous l'obtenez à partir d'un Mac, vous devrez peut-être le faire passer par l'utilitaire "iconv" pour le convertir de MacRoman en UTF-8.

Answer 5

Cette erreur peut se produire si les données d'entrée contiennent elles-mêmes un caractère d'échappement. Par défaut, le caractère d'échappement est le symbole "\", donc si votre texte d'entrée contient le caractère "\" - essayez de changer la valeur par défaut en utilisant l'option ESCAPE.