analyse d'une url pour un crawler

Question

Je suis en train d'écrire un petit crawler qui extrait quelques 5 à 10 sites tout en obtenant les liens, j'obtiens quelques urls comme ceci

../tets/index.html

si c'est le cas /test/index.html nous pouvons ajouter avec l'url de base http://www.example.com/test/index.html

que puis-je faire pour ce genre d'url.

Answer 1

Des URL comme celles-ci sont urls relatives . ".." signifie "répertoire parent", alors que "." signifie simplement "ce répertoire", comme dans bash. Par exemple, si vous regardez cette page : http://www.someserver/test/foo/bar.html et qu'il contient une url comme celle-ci : "../baz/foobar.html", il pointera en fait vers le site suivant http://www.someserver/test/baz/foobar.html Je pense. Juste un test.

Answer 2

Utilice dirname() pour obtenir le directoy de base, supprimez le .. en utilisant substr() et l'ajouter à cet endroit. Comme ceci :

<?php
$url = "../tets/index.html";
$currentURL = "http://example.com/somedir/anotherdir";
echo dirname($currentURL).substr($url, 2);
?>

Ces sorties :

http://example.com/somedir/tets/index.html

Answer 3

Jetez un coup d'œil à ceci Normalisation des URL Page Wikipedia.