Quels caractères rendent une URL invalide ?

Question

Quels caractères rendent une URL invalide ?

Ces URL sont-elles valides ?

• example.com/file[/].html
• http://example.com/file[/].html

Answer 1

En général, les URI telles que définies par RFC 3986 (voir Section 2 : Caractères) peuvent contenir l'un des 84 caractères suivants :

ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789-._~:/?#[]@!$&'()*+,;=

Remarque : cette liste ne précise pas où dans l'URI ces caractères peuvent apparaître.

Tout autre caractère doit être encodé avec le codage de pourcentage (%hh). Chaque partie de l'URI présente des restrictions supplémentaires quant aux caractères devant être représentés par un mot encodé en pourcentage.

Answer 2

Les caractères '[' et ']' dans cet exemple sont des caractères "imprudents" mais toujours légaux. Si le '/' dans les crochets est censé faire partie du nom de fichier, alors c'est invalide car '/' est réservé et doit être correctement encodé :

http://example.com/file[/].html

Pour ajouter quelques éclaircissements et répondre directement à la question ci-dessus, il existe plusieurs classes de caractères qui posent problème pour les URL et les URIs.

Il y a des caractères qui sont interdits et ne devraient jamais apparaître dans une URL/URI, des caractères réservés (décrits ci-dessous), et d'autres caractères qui peuvent poser problème dans certains cas, mais qui sont marqués comme "imprudents" ou "non sûrs". Les explications sur la raison pour laquelle les caractères sont restreints sont clairement indiquées dans RFC-1738 (URLs) et RFC-2396 (URIs). Notez que le plus récent RFC-3986 (mise à jour de RFC-1738) définit la construction des caractères autorisés dans un contexte donné, mais la spécification plus ancienne offre une description plus simple et plus générale des caractères interdits avec les règles suivantes.

Caractères US-ASCII exclus interdits dans la syntaxe de l'URI :

   control     = 
   space       = 
   delims      = "<" | ">" | "#" | "%" | <">

Le caractère "#" est exclu car il est utilisé pour délimiter une URI d'un identifiant de fragment. Le caractère pourcentage "%" est exclu car il est utilisé pour l'encodage des caractères échappés. En d'autres termes, "#" et "%" sont des caractères réservés qui doivent être utilisés dans un contexte spécifique.

Liste des caractères imprudents qui sont autorisés mais peuvent poser des problèmes :

   unwise      = "{" | "}" | "|" | "\" | "^" | "[" | "]" | "`"

Caractères qui sont réservés dans un composant de requête et/ou ont une signification spéciale dans une URI/URL :

  reserved    = ";" | "/" | "?" | ":" | "@" | "&" | "=" | "+" | "$" | ","

La classe de syntaxe "réservée" ci-dessus se réfère aux caractères autorisés dans une URI, mais qui peuvent ne pas être autorisés dans un composant particulier de la syntaxe générique de l'URI. Les caractères de l'ensemble "réservé" ne sont pas réservés dans tous les contextes. Par exemple, le nom d'hôte peut contenir un nom d'utilisateur optionnel, donc il pourrait ressembler à quelque chose comme ftp://user@hostname/ où le caractère '@' a un sens spécial.

Voici un exemple d'une URL qui contient des caractères invalides et imprudents (par ex. '$', '[', ']') et qui doit être correctement encodée :

http://mw1.google.com/mw-earth-vectordb/kml-samples/gp/seattle/gigapxl/$[level]/r$[y]_c$[x].jpg

Certaines restrictions de caractères pour les URIs et URLs dépendent du langage de programmation. Par exemple, le caractère '|' (0x7C) bien qu'étant seulement marqué comme "imprudent" dans la spécification de l'URI va générer une URISyntaxException dans le constructeur Java java.net.URI donc une URL comme http://api.google.com/q?exp=a|b n'est pas autorisée et doit plutôt être encodée comme http://api.google.com/q?exp=a%7Cb si vous utilisez Java avec une instance d'objet URI.

Answer 3

Il ne s'agit pas seulement des caractères. Différents caractères sont autorisés à différents points. Par exemple, d'après la RFC 2396, un caractère non échappé '?' est autorisé dans la partie fragment mais pas la partie chemin.

Vous devez lire la RFC 2396 pour comprendre les détails ... ou poser une question plus spécifique. Ou si vous voulez vraiment dire URI plutôt que URL, la RFC 3986 est ce que vous devriez lire.

---

Vous avez demandé si example.com/file[/].html est une URL valide.

Je suis d'accord avec Dominic Sayers - Non. Une URL doit avoir un schéma explicite, tel que "http", suivi de ':'.

Mais Dominic affirme ensuite que http://example.com/file[/].html n'est pas non plus une URL valide, et ce n'est pas si clair.

Les caractères '[' et ']' sont des caractères et devraient être échappés en pourcentage s'ils ne sont pas utilisés comme délimiteurs dans la syntaxe spécifique au schéma. La spécification dit:

"Les applications produisant des URI devraient encoder en pourcentage les octets de données correspondant à des caractères de l'ensemble réservé à moins que ces caractères ne soient spécifiquement autorisés par le schéma d'URI à représenter des données dans ce composant."

(Note - le mot opératif ici est "should", et non "shall" ou "must". C'est consultatif, pas prescriptif.)

La phrase suivante de la spécification dit ceci:

"Si un caractère réservé est trouvé dans un composant d'URI et aucun rôle de délimitation n'est connu pour ce caractère, il doit être interprété comme représentant l'octet de données correspondant à l'encodage de ce caractère en US-ASCII"

(Notez que le mot opératif est "must". Cela indique ce qu'un URI signifie si quelqu'un ignore les conseils de la phrase précédente.)

Alors comment cela s'applique-t-il ici? Eh bien HTTP est un schéma "hiérarchique", et le ABNF générique pour les schémas hiérarchiques n'indique pas que '[' ou ']' sont des délimiteurs dans un . En revanche, le ABNF indique qu'un se compose de caractères , de sous-délimiteurs, de caractères échappés en pourcentage, ':' ou '@'. En d'autres termes, '[' ou ']' ne sont pas autorisés par une lecture stricte de l'ABNF.

Donc, strictement "http://example.com/file[/].html" n'est pas valide. Mais si vous rencontrez une telle URL (et ne décidez pas de la rejeter), la partie antérieure de la spécification indique que les caractères '[' et ']' doivent être traités comme des caractères de données. Ainsi, l'URL serait analysée comme suit:

• schéma == "http"
• autorité == "example.com"
• chemin == "/file[/].html"

Et le chemin devrait être analysé comme '/' '/' où le premier segment est "file[" et le deuxième est "].html"

Answer 4

Dans votre question supplémentaire, vous avez demandé si www.example.com/file[/].html est une URL valide.

Cette URL n'est pas valide car une URL est un type d'URI et un URI valide doit avoir un schéma comme http: (voir RFC 3986).

Si vous vouliez demander si http://www.example.com/file[/].html est une URL valide, la réponse est toujours non car les caractères de crochet ne sont pas valides ici.

Les caractères de crochet sont réservés pour les URLs dans ce format : http://[2001:db8:85a3::8a2e:370:7334]/foo/bar (c'est-à-dire une adresse IPv6 littérale au lieu d'un nom d'hôte)

Il est utile de lire attentivement le RFC 3986 si vous souhaitez bien comprendre le problème.

Answer 5

Tous les caractères valides pouvant être utilisés dans une URI (une URL est un type d'URI) sont définis dans RFC 3986.

Tous les autres caractères peuvent être utilisés dans une URL à condition d'être préalablement "encodés en URL". Cela consiste à remplacer le caractère invalide par des "codes" spécifiques (généralement sous forme du symbole pour cent (%) suivi d'un nombre hexadécimal).

Ce lien, Référence de codage d'URL HTML, contient une liste des encodages pour les caractères invalides.