C# Comment puis-je vérifier si une URL existe/est valide ?

Question

Je suis en train de créer un programme simple en Visual C# 2005 qui recherche un symbole boursier sur Yahoo ! Finance, télécharge les données historiques, puis trace l'historique des prix pour le symbole boursier spécifié.

Je connais l'URL exacte dont j'ai besoin pour acquérir les données, et si l'utilisateur saisit un symbole de téléscripteur existant (ou au moins un symbole avec des données sur Yahoo ! Finance), cela fonctionne parfaitement bien. Cependant, j'ai une erreur d'exécution si l'utilisateur invente un symbole de téléscripteur, car le programme tente d'extraire des données d'une page Web inexistante.

J'utilise la classe WebClient et la fonction DownloadString. J'ai parcouru toutes les autres fonctions membres de la classe WebClient, mais je n'ai rien vu que je puisse utiliser pour tester une URL.

Comment puis-je le faire ?

Answer 1

Voici une autre mise en œuvre de cette solution :

using System.Net;

///
/// Checks the file exists or not.
///
/// The URL of the remote file.
/// True : If the file exits, False if file not exists
private bool RemoteFileExists(string url)
{
    try
    {
        //Creating the HttpWebRequest
        HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
        //Setting the Request method HEAD, you can also use GET too.
        request.Method = "HEAD";
        //Getting the Web Response.
        HttpWebResponse response = request.GetResponse() as HttpWebResponse;
        //Returns TRUE if the Status code == 200
        response.Close();
        return (response.StatusCode == HttpStatusCode.OK);
    }
    catch
    {
        //Any exception will returns false.
        return false;
    }
}

De : http://www.dotnetthoughts.net/2009/10/14/how-to-check-remote-file-exists-using-c/

Answer 2

Vous pourriez émettre un "HEAD" plutôt qu'une demande "GET" ?

(edit) - lol ! On dirait que j'ai a déjà fait cela auparavant ! ; changé en wiki pour éviter les accusations de "rep-garnering". Ainsi, pour tester une URL sans le coût du téléchargement du contenu :

// using MyClient from linked post
using(var client = new MyClient()) {
    client.HeadOnly = true;
    // fine, no content downloaded
    string s1 = client.DownloadString("http://google.com");
    // throws 404
    string s2 = client.DownloadString("http://google.com/silly");
}

Tu voudrais try / catch autour de la DownloadString pour vérifier les erreurs ; pas d'erreur ? Il existe...

---

Avec C# 2.0 (VS2005) :

private bool headOnly;
public bool HeadOnly {
    get {return headOnly;}
    set {headOnly = value;}
}

et

using(WebClient client = new MyClient())
{
    // code as before
}

Answer 3

Ces solutions sont plutôt bonnes, mais elles oublient qu'il peut y avoir d'autres codes d'état que 200 OK. Il s'agit d'une solution que j'ai utilisée dans des environnements de production pour le suivi de l'état et autres.

S'il y a une redirection d'url ou une autre condition sur la page cible, le retour sera vrai en utilisant cette méthode. De plus, GetResponse() lèvera une exception et vous n'obtiendrez donc pas de StatusCode pour cette méthode. Vous devez piéger l'exception et rechercher une ProtocolError.

Tout code d'état 400 ou 500 renvoie false. Tous les autres renvoient vrai. Ce code peut être facilement modifié pour répondre à vos besoins en matière de codes d'état spécifiques.

/// <summary>
/// This method will check a url to see that it does not return server or protocol errors
/// </summary>
/// <param name="url">The path to check</param>
/// <returns></returns>
public bool UrlIsValid(string url)
{
    try
    {
        HttpWebRequest request = HttpWebRequest.Create(url) as HttpWebRequest;
        request.Timeout = 5000; //set the timeout to 5 seconds to keep the user from waiting too long for the page to load
        request.Method = "HEAD"; //Get only the header information -- no need to download any content

        using (HttpWebResponse response = request.GetResponse() as HttpWebResponse)
        {
            int statusCode = (int)response.StatusCode;
            if (statusCode >= 100 && statusCode < 400) //Good requests
            {
                return true;
            }
            else if (statusCode >= 500 && statusCode <= 510) //Server Errors
            {
                //log.Warn(String.Format("The remote server has thrown an internal error. Url is not valid: {0}", url));
                Debug.WriteLine(String.Format("The remote server has thrown an internal error. Url is not valid: {0}", url));
                return false;
            }
        }
    }
    catch (WebException ex)
    {
        if (ex.Status == WebExceptionStatus.ProtocolError) //400 errors
        {
            return false;
        }
        else
        {
            log.Warn(String.Format("Unhandled status [{0}] returned for url: {1}", ex.Status, url), ex);
        }
    }
    catch (Exception ex)
    {
        log.Error(String.Format("Could not test url {0}.", url), ex);
    }
    return false;
}

Answer 4

Si je comprends bien votre question, vous pourriez utiliser une petite méthode comme celle-ci pour vous donner les résultats de votre test d'URL :

WebRequest webRequest = WebRequest.Create(url);  
WebResponse webResponse;
try 
{
  webResponse = webRequest.GetResponse();
}
catch //If exception thrown then couldn't get response from address
{
  return 0;
} 
return 1;

Vous pourriez envelopper le code ci-dessus dans une méthode et l'utiliser pour effectuer la validation. J'espère que cela répond à la question que vous posiez.

Answer 5

Cette solution semble facile à suivre :

public static bool isValidURL(string url) {
    WebRequest webRequest = WebRequest.Create(url);
    WebResponse webResponse;
    try
    {
        webResponse = webRequest.GetResponse();
    }
    catch //If exception thrown then couldn't get response from address
    {
        return false ;
    }
    return true ;
}