Est-il possible de télécharger la totalité de la base de données whois / la liste des domaines enregistrés ?

Question

Je voulais faire une analyse des noms de domaine enregistrés. Il semble que je puisse aller sur whois.internic.net pour obtenir des informations sur chaque domaine, mais il semble aussi qu'il y ait des limites de débit qui m'empêchent de faire un grand nombre de requêtes.

Existe-t-il un moyen de récupérer périodiquement (disons quotidiennement) la totalité de la base de données whois ? Je ne me soucie vraiment que de savoir si un domaine est enregistré ou non, et je n'ai donc pas besoin de toutes les informations whois.

Answer 1

Pour les noms de domaine .com et .net, Verisign fournit les services suivants Programme d'accès aux zones TLD où vous pouvez demander un accès au téléchargement des fichiers de la zone. Les autres bureaux d'enregistrement offrent généralement des services similaires.

Voici une liste pour d'autres TLD (bien que je n'aie pas essayé de postuler pour aucun d'entre eux) :

• .org : http://www.pir.org/index.php?db=content/Website&tbl=Registrars&id=7
• .biz : https://www.neulevel.biz/zonefile/
• .info : http://www.afilias.info/faqs/for_registrars/general_registrar
• nom : http://gnr.name/zone-file-access.html
• .coop : http://www.nic.coop/agreements.aspx
• .pro : http://www.registrypro.pro
• .mobi : http://mtld.mobi/domain/zonefile

Answer 2

API Whois offre l'ensemble des téléchargement de la base de données whois dans les principaux GTLD (.com, .net, .org, .us, .biz., .mobi,etc)
De plus, il fournit une base de données whois historique archivée, au format brut et analysé, à télécharger sous forme de fichiers CSV. J'ai utilisé un téléchargement partiel de la base de données pour un projet d'entreprise (lié au référencement) et la qualité des données était plutôt bonne.

http://www.whoisxmlapi.com/whois-database-download.php

Il fournit également un téléchargement quotidien de Domaines nouvellement enregistrés

Answer 3

Ces personnes vous vendront un accès mensuel aux principaux fichiers de zone (ainsi que des listes de changements) :

http://www.premiumdrops.com/zones.html

Et domain.ir dispose d'une api REST gratuite que vous pouvez utiliser à partir de javascript :

https://domai.nr/api

Answer 4

En 2006, Dennis Forbes a réalisé une analyse dont vous pouvez lire le détail. ici . Il mentionne également dans la barre latérale où il a obtenu les données. Il semble qu'il ait examiné les fichiers de zone de Verisign plutôt que la base de données Whois. Je n'ai pas les détails mais cela pourrait être une autre direction à explorer.