Ruby 1.9: séquence d'octets invalide en UTF-8

Question

Je suis en train d'écrire un crawler en Ruby (1.9) qui consomme beaucoup de HTML à partir de nombreux sites aléatoires.
Lorsque j'essaie d'extraire des liens, j'ai décidé d'utiliser simplement .scan(/href="(.*?)"/i) au lieu de nokogiri/hpricot (une importante accélération). Le problème est que je reçois maintenant beaucoup d'erreurs "séquence d'octets non valide en UTF-8".
D'après ce que j'ai compris, la bibliothèque net/http n'a pas d'options spécifiques d'encodage et les données reçues ne sont essentiellement pas correctement étiquetées.
Quelle serait la meilleure façon de travailler réellement avec ces données entrantes ? J'ai essayé .encode avec les options de remplacement et d'invalidité définies, mais jusqu'à présent sans succès...

Answer 1

En Ruby 1.9.3, il est possible d'utiliser String.encode pour "ignorer" les séquences UTF-8 invalides. Voici un extrait qui fonctionnera à la fois en 1.8 (iconv) et en 1.9 (String#encode) :

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)

ou si vous avez une entrée vraiment problématique, vous pouvez effectuer une double conversion de l'UTF-8 à l'UTF-16 et de retour à l'UTF-8 :

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)

Answer 2

La réponse acceptée ni l'autre réponse ne fonctionnent pour moi. J'ai trouvé ce post qui suggérait

chaîne.encode!('UTF-8', 'binaire', invalid: :replace, undef: :replace, replace: '')

Cela a résolu le problème pour moi.

Answer 3

Ma solution actuelle consiste à exécuter :

my_string.unpack("C*").pack("U*")

Cela permettra au moins de se débarrasser des exceptions qui étaient mon principal problème

Answer 4

Je pense que c'est ce que vous cherchez :

fixing-invalid-utf-8-in-ruby-revisited

Veuillez noter - cette réponse est seulement pertinente pour ruby 1.9.2.

En ruby 1.9.3 et plus, Iconv est obsolète.

Answer 5

Essayer ceci:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end