import torch non défini sur gcp

Question

J'essaie d'exécuter "import torch" sur GCP.

J'ai reçu le message ModuleNotFoundError: No module named 'torch'

J'ai essayé de créer un nouveau cluster (via l'api, pas le terminal) avec les propriétés suivantes :

dataproc->conda.packages->pytorch==1.7.1,visions==0.7.1

dataproc->pip.packages->tokenizers==0.10.1,datasets==1.5.0

La création du cluster a été retardée et n'a pas été créée. La même chose s'est produite même en essayant juste

dataproc -> conda.packages -> pytorch==1.7.1

J'essaie d'installer conda sur le master manuellement avec ce qui suit :

conda install -c pytorch pytorch

Après plus d'une heure, j'ai obtenu :

Collecting package metadata (current_repodata.json): done
Solving environment: failed with initial frozen solve. Retrying with flexible solve.
Solving environment: failed with repodata from current_repodata.json, will retry with next repodata source.
Collecting package metadata (repodata.json): done
Solving environment -/

Merci pour toute aide ou conseil c'est à dire, à part torch j'ai aussi besoin de : from transformers import LongformerModel, LongformerTokenizer from model import RedditModel

Answer 1

Il vous suffit d'utiliser une version plus récente/la plus récente Version de PyTorch disponible dans le canal conda-forge (1.8.0 maintenant) :

gcloud dataproc clusters create ${CLUSTER_NAME} \
  --image-version=2.0 \
  --region=${REGION} \
  --properties='^#^dataproc:conda.packages=pytorch==1.8.0,torchvision==0.9.0'

Answer 2

Au lieu d'utiliser conda install, essayez avec conda forge. Cela devrait fonctionner. https://anaconda.org/conda-forge/pytorch