Comment remplacer les caractères Unicode non imprimables en Java ?

Question

Les éléments suivants remplaceront les caractères de contrôle ASCII (abréviation de [\x00-\x1F\x7F] ) :

my_string.replaceAll("\\p{Cntrl}", "?");

Le texte suivant remplacera tous les caractères non imprimables ASCII (abréviation de [\p{Graph}\x20] ), y compris les caractères accentués :

my_string.replaceAll("[^\\p{Print}]", "?");

Toutefois, ni l'un ni l'autre ne fonctionne pour les chaînes Unicode. Quelqu'un connaît-il un bon moyen de supprimer les caractères non imprimables d'une chaîne unicode ?

Answer 1

my_string.replaceAll("\\p{C}", "?");

En savoir plus Regex Unicode . java.util.regexPattern / String.replaceAll les soutient.

Answer 2

Op De Cirkel a surtout raison. Sa suggestion fonctionnera dans la plupart des cas :

myString.replaceAll("\\p{C}", "?");

Mais si myString peut contenir des points de code non-BMP, alors c'est plus compliqué. \p{C} contient les points de code de substitution de \p{Cs} . La méthode de remplacement ci-dessus corrompt les points de code non-BMP en ne remplaçant parfois que la moitié de la paire de substituts. Il est possible qu'il s'agisse d'un bogue Java plutôt que d'un comportement voulu.

L'utilisation des autres catégories de constituants est une option :

myString.replaceAll("[\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}]", "?");

Cependant, les caractères de substitution solitaires qui ne font pas partie d'une paire (chaque caractère de substitution a un point de code attribué) ne seront pas supprimés. Une approche non-regex est le seul moyen que je connaisse pour traiter correctement les \p{C} :

StringBuilder newString = new StringBuilder(myString.length());
for (int offset = 0; offset < myString.length();)
{
    int codePoint = myString.codePointAt(offset);
    offset += Character.charCount(codePoint);

    // Replace invisible control characters and unused code points
    switch (Character.getType(codePoint))
    {
        case Character.CONTROL:     // \p{Cc}
        case Character.FORMAT:      // \p{Cf}
        case Character.PRIVATE_USE: // \p{Co}
        case Character.SURROGATE:   // \p{Cs}
        case Character.UNASSIGNED:  // \p{Cn}
            newString.append('?');
            break;
        default:
            newString.append(Character.toChars(codePoint));
            break;
    }
}

Answer 3

Méthodes ci-dessous pour votre objectif

public static String removeNonAscii(String str)
{
    return str.replaceAll("[^\\x00-\\x7F]", "");
}

public static String removeNonPrintable(String str) // All Control Char
{
    return str.replaceAll("[\\p{C}]", "");
}

public static String removeSomeControlChar(String str) // Some Control Char
{
    return str.replaceAll("[\\p{Cntrl}\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}]", "");
}

public static String removeFullControlChar(String str)
{
    return removeNonPrintable(str).replaceAll("[\\r\\n\\t]", "");
}

Answer 4

Vous pouvez être intéressé par le Catégories Unicode "Autre, Contrôle" y éventuellement "Autre, format" (malheureusement, ce dernier semble contenir à la fois des caractères non imprimables et imprimables).

Dans les expressions régulières Java, vous pouvez les vérifier en utilisant \p{Cc} y \p{Cf} respectivement.

Answer 5

Jetez un coup d'œil à Junidecode bibliothèque