Télécharger des données sur google bucket avec l'api kaggle et les utiliser dans colab

Question

Je souhaite utiliser des jeux de données kaggle à partir d'une base de données google lors de l'utilisation de colab.

Premièrement : Existe-t-il un moyen de télécharger directement des ensembles de données kaggle vers google bucket via l'api kaggle ?

Deuxièmement : Comment utiliser les données de google bucket à partir de colab sans les copier dans le notebook ?

Pour l'instant, mon expérience de l'utilisation de google bucket avec colab se fait par le biais d'un URI pour la transcription audio comme celui-ci :

gcs_uri = 'gs://bucket_name/file_name.wav'
audio = types.RecognitionAudio(uri=gcs_uri)

Je suppose que je peux aussi faire quelque chose de similaire pour charger des données dans python pandas dataframe directement à partir d'un URI. Mon expérience de l'utilisation de l'api kaggle est sur ma machine locale, par exemple :

kaggle competitions download -c petfinder-adoption-prediction

qui télécharge les données à l'aide de l'api kaggle. Si je charge des données dans un carnet de notes colab, elles sont supprimées entre les sessions, donc mon intention en utilisant google bucket est de les avoir disponibles pour plusieurs sessions.

Answer 1

Vous pouvez essayez cette solution pour votre premier numéro. Je ne sais pas si wget est possible avec l'ensemble de données dont vous avez besoin, mais ceci suggère que c'est possible . Mais cela ne se fait pas via l'API Kaggle.

La deuxième question, à savoir comment utiliser les données sans les copier dans le carnet, est que vous pouvez en fait monter le seau en tant que disque sur votre instance . Vous pouvez alors accéder directement aux données.

En les associant, il est donc possible de monter le seau localement, puis d'y transférer les données. Vous pouvez ensuite y accéder dans le bloc-notes.