R gestion de la mémoire / ne peut allouer un vecteur de taille n Mb

Question

Je rencontre des problèmes en essayant d'utiliser de grands objets dans R. Par exemple :

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

Je comprends que cela est lié à la difficulté d'obtenir des blocs de mémoire contigus (de ici ) :

Les messages d'erreur commençant par cannot allouer un vecteur de taille indique un l'impossibilité d'obtenir de la mémoire, soit parce que la taille a dépassé la limite de l'espace d'adressage d'un processus ou, ou, plus probablement, parce que le système incapable de fournir la mémoire. Notez que sur un système 32 bits, il peut y avoir avoir suffisamment de mémoire libre disponible, mais mais pas un bloc contigu assez grand de d'espace d'adressage dans lequel la mapper.

Comment puis-je contourner ce problème ? Ma principale difficulté est que j'arrive à un certain point dans mon script et que R ne peut pas allouer 200-300 Mo pour un objet... Je ne peux pas vraiment pré-allouer le bloc car j'ai besoin de la mémoire pour d'autres traitements. Cela se produit même lorsque j'élimine dilligemment les objets inutiles.

EDIT : Oui, désolé : Windows XP SP3, 4Gb RAM, R 2.12.0 :

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

Answer 1

Demandez-vous si vous avez vraiment besoin de toutes ces données de manière explicite, ou si la matrice peut être éparse ? Il existe un bon support dans R (voir Matrix par exemple) pour les matrices éparses.

Réduisez au minimum tous les autres processus et objets dans R lorsque vous devez réaliser des objets de cette taille. Utilisez gc() pour effacer la mémoire inutilisée, ou, mieux encore ne créer que l'objet dont vous avez besoin en une seule session .

Si ce qui précède ne peut vous aider, procurez-vous une machine 64 bits avec autant de RAM que vous pouvez vous le permettre, et installez R 64 bits.

Si vous ne pouvez pas le faire, il existe de nombreux services en ligne pour l'informatique à distance.

Si vous ne pouvez pas le faire, les outils de mappage de la mémoire tels que le package ff (ou bigmemory comme le mentionne Sascha) vous aidera à construire une nouvelle solution. D'après mon expérience limitée ff est le paquet le plus avancé, mais vous devriez lire la section High Performance Computing sur le site CRAN Task Views.

Answer 2

Pour les utilisateurs de Windows, ce qui suit m'a beaucoup aidé à comprendre certaines limitations de mémoire :

• avant d'ouvrir R, ouvrez le moniteur de ressources de Windows (Ctrl-Alt-Delete / Démarrer le gestionnaire de tâches / onglet Performance / cliquer sur le bouton inférieur 'Moniteur de ressources' / onglet Mémoire).
• vous verrez combien de mémoire RAM nous déjà utilisé avant d'ouvrir R, et par quelles applications. Dans mon cas, 1,6 Go des 4 Go totaux sont utilisés. Je ne pourrai donc obtenir que 2,4 Go pour R, mais le pire est à venir...
• J'ouvre R et crée un ensemble de données de 1,5 Go, puis je réduis sa taille à 0,5 Go. Le Resource Monitor montre que ma RAM est utilisée à près de 95 %.
• utiliser gc() pour faire la collecte des déchets \=> cela fonctionne, je peux voir l'utilisation de la mémoire descendre à 2 GB

Conseils supplémentaires qui fonctionnent sur ma machine :

• préparez les caractéristiques, enregistrez-les dans un fichier RData, fermez R, rouvrez R, et chargez les caractéristiques du train. Le Resource Manager montre généralement une utilisation de la mémoire plus faible, ce qui signifie que même gc() ne récupère pas toute la mémoire possible et la fermeture/réouverture de R fonctionne le mieux pour commencer avec le maximum de mémoire disponible .
• L'autre astuce consiste à ne charger que l'ensemble de formation pour l'entraînement (ne pas charger l'ensemble de test, qui peut généralement être deux fois plus petit que l'ensemble de formation). La phase de formation peut utiliser la mémoire au maximum (100%), donc tout ce qui est disponible est utile. Tout ceci est à prendre avec un grain de sel car je suis en train d'expérimenter les limites de mémoire de R.

Answer 3

Voici une présentation sur ce sujet qui pourrait vous intéresser :

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Je n'ai pas essayé les choses discutées moi-même, mais les bigmemory Le paquet semble très utile

Answer 4

Le moyen le plus simple de contourner cette limitation est de passer à R 64 bits.

Answer 5

Essayez d'augmenter la mémoire de votre système avec /3G. http://msdn.microsoft.com/en-us/Windows/hardware/gg487508