Définition de l'agent utilisateur d'une URLConnection java

Question

J'essaie d'analyser une page Web en utilisant Java avec URLConnection. J'essaie de configurer l'agent utilisateur comme ceci :

java.net.URLConnection c = url.openConnection();
c.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

Mais l'agent utilisateur résultant est celui que je spécifie, avec "Java/1.5.0_19" ajouté à la fin. Existe-t-il un moyen de définir réellement l'agent utilisateur sans cet ajout ?

Answer 1

Juste pour clarifier : setRequestProperty("User-Agent", "Mozilla ...") fonctionne maintenant très bien et n'ajoute pas java/xx à la fin ! Au moins avec Java 1.6.30 et plus récent.

J'ai écouté sur ma machine avec netcat (un listener de port) :

$ nc -l -p 8080

Il écoute simplement sur le port, de sorte que vous voyez tout ce qui est demandé, comme les en-têtes http bruts.

Et j'ai obtenu les en-têtes http suivants sans setRequestProperty :

GET /foobar HTTP/1.1
User-Agent: Java/1.6.0_30
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

Et AVEC setRequestProperty :

GET /foobar HTTP/1.1
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
Host: localhost:8080
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Connection: keep-alive

Comme vous pouvez le voir, l'agent utilisateur a été correctement défini.

Exemple complet :

import java.io.IOException;
import java.net.URL;
import java.net.URLConnection;

public class TestUrlOpener {

    public static void main(String[] args) throws IOException {
        URL url = new URL("http://localhost:8080/foobar");
        URLConnection hc = url.openConnection();
        hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

        System.out.println(hc.getContentType());
    }

}

Answer 2

De la main à la main, le réglage de la http.agent la propriété du système à "" pourrait faire l'affaire (je n'ai pas le code sous les yeux).

Vous pourriez vous en sortir :

 System.setProperty("http.agent", "");

mais cela pourrait nécessiter une course entre vous et l'initialisation du gestionnaire de protocole URL, s'il met en cache la valeur au démarrage (en fait, je ne pense pas qu'il le fasse).

La propriété peut également être définie via les fichiers JNLP (disponibles pour les applets à partir de la 6u10) et sur la ligne de commande :

-Dhttp.agent=

Ou pour les commandes wrapper :

-J-Dhttp.agent=

Answer 3

Légèrement modifié Tom Hawtins répondre à :

 System.setProperty("http.agent", ""); 

en fonction de http://www.ivoa.net/forum/apps/0903/0610.htm

Answer 4

Son travail pour moi définir l'User-Agent dans la propriété addRequestProperty.

URL url = new URL(<URL>);
HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
httpConn.addRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0");

Answer 5

Les serveurs HTTP ont tendance à rejeter les anciens navigateurs et systèmes.

La page Tech Blog (wh) : Agents utilisateurs les plus courants reflète la propriété user-agent de votre navigateur actuel dans la section "Votre agent utilisateur est :" qui peut être appliquée pour définir la propriété de la demande "User-Agent" d'une demande d'accès à Internet. java.net.URLConnection ou la propriété système "http.agent".