Accéder à une URL et lire des données avec R

Question

Existe-t-il un moyen de spécifier et d'obtenir des données à partir de l'URL d'un site web vers un fichier CSV pour les analyser à l'aide de R ?

Answer 1

Dans le cas le plus simple, il suffit de faire

X <- read.csv(url("http://some.where.net/data/foo.csv"))

plus toutes les options possibles read.csv() peut avoir besoin.

Édition en septembre 2020, soit 9 ans plus tard :

Depuis quelques années, R permet également de passer directement l'URL à la commande read.csv :

X <- read.csv("http://some.where.net/data/foo.csv")

Fin de l'édition 2020. L'article original continue.

Réponse longue : Oui, c'est possible et de nombreux paquets utilisent cette fonctionnalité depuis des années. Par exemple, le tseries utilise exactement cette fonction pour télécharger les cours de la bourse à partir de Yahoo ! depuis près de dix ans :

R> library(tseries)
Loading required package: quadprog
Loading required package: zoo

    ‘tseries’ version: 0.10-24

    ‘tseries’ is a package for time series analysis and computational finance.

    See ‘library(help="tseries")’ for details.

R> get.hist.quote("IBM")
trying URL 'http://chart.yahoo.com/table.csv?    ## manual linebreak here
  s=IBM&a=0&b=02&c=1991&d=5&e=08&f=2011&g=d&q=q&y=0&z=IBM&x=.csv'
Content type 'text/csv' length unknown
opened URL
.......... .......... .......... .......... ..........
.......... .......... .......... .......... ..........
.......... .......... .......... .......... ..........
.......... .......... .......... .......... ..........
.......... .......... .......... .......... ..........
........
downloaded 258 Kb

             Open   High    Low  Close
1991-01-02 112.87 113.75 112.12 112.12
1991-01-03 112.37 113.87 112.25 112.50
1991-01-04 112.75 113.00 111.87 112.12
1991-01-07 111.37 111.87 110.00 110.25
1991-01-08 110.37 110.37 108.75 109.00
1991-01-09 109.75 110.75 106.75 106.87
[...]

Tout cela est extrêmement bien documenté dans les pages du manuel de l'UE. help(connection) y help(url) . Consultez également le manuel sur l'importation et l'exportation de données fourni avec R.

Answer 2

base

read.csv sans le url fonctionne parfaitement. Il est probable que je manque quelque chose si Dirk Eddelbuettel l'a inclus dans sa réponse :

ad <- read.csv("http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv")
head(ad)

  X    TV radio newspaper sales
1 1 230.1  37.8      69.2  22.1
2 2  44.5  39.3      45.1  10.4
3 3  17.2  45.9      69.3   9.3
4 4 151.5  41.3      58.5  18.5
5 5 180.8  10.8      58.4  12.9
6 6   8.7  48.9      75.0   7.2

Une autre option utilisant deux paquets populaires :

table.de.données

library(data.table)
ad <- fread("http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv")
head(ad)

V1    TV radio newspaper sales
1:  1 230.1  37.8      69.2  22.1
2:  2  44.5  39.3      45.1  10.4
3:  3  17.2  45.9      69.3   9.3
4:  4 151.5  41.3      58.5  18.5
5:  5 180.8  10.8      58.4  12.9
6:  6   8.7  48.9      75.0   7.2

lecteur

library(readr)
ad <- read_csv("http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv")
head(ad)

# A tibble: 6 x 5
     X1    TV radio newspaper sales
  <int> <dbl> <dbl>     <dbl> <dbl>
1     1 230.1  37.8      69.2  22.1
2     2  44.5  39.3      45.1  10.4
3     3  17.2  45.9      69.3   9.3
4     4 151.5  41.3      58.5  18.5
5     5 180.8  10.8      58.4  12.9
6     6   8.7  48.9      75.0   7.2

Answer 3

Les données figurant sur les pages web se présentent souvent sous la forme d'un tableau XML. Vous pouvez lire un tableau XML dans R en utilisant le paquet XML .

Dans ce paquet, la fonction

readHTMLTable(<url>)

recherche dans une page les tableaux XML et renvoie une liste de cadres de données (un pour chaque tableau trouvé).

Answer 4

A côté de read.csv(url("...")) vous pouvez également utiliser read.table("http://...") .

Exemple :

> sample <- read.table("http://www.ats.ucla.edu/stat/examples/ara/angell.txt")
> sample
                V1   V2   V3   V4 V5
1        Rochester 19.0 20.6 15.0  E
2         Syracuse 17.0 15.6 20.2  E
...
43         Atlanta  4.2 70.6 32.6  S
>

Answer 5

scan peut lire automatiquement une page Web ; vous n'avez pas nécessairement besoin de vous occuper des connexions.