Le tas de Node.js n'a plus de mémoire

Question

Aujourd'hui, j'ai exécuté mon script pour l'indexation des systèmes de fichiers afin de rafraîchir l'index des fichiers RAID et après 4h, il s'est écrasé avec l'erreur suivante :

[md5:]  241613/241627 97.5%  
[md5:]  241614/241627 97.5%  
[md5:]  241625/241627 98.1%
Creating missing list... (79570 files missing)
Creating new files list... (241627 new files)

<--- Last few GCs --->

11629672 ms: Mark-sweep 1174.6 (1426.5) -> 1172.4 (1418.3) MB, 659.9 / 0 ms [allocation failure] [GC in old space requested].
11630371 ms: Mark-sweep 1172.4 (1418.3) -> 1172.4 (1411.3) MB, 698.9 / 0 ms [allocation failure] [GC in old space requested].
11631105 ms: Mark-sweep 1172.4 (1411.3) -> 1172.4 (1389.3) MB, 733.5 / 0 ms [last resort gc].
11631778 ms: Mark-sweep 1172.4 (1389.3) -> 1172.4 (1368.3) MB, 673.6 / 0 ms [last resort gc].

<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x3d1d329c9e59 <JS Object>
1: SparseJoinWithSeparatorJS(aka SparseJoinWithSeparatorJS) [native array.js:~84] [pc=0x3629ef689ad0] (this=0x3d1d32904189 <undefined>,w=0x2b690ce91071 <JS Array[241627]>,L=241627,M=0x3d1d329b4a11 <JS Function ConvertToString (SharedFunctionInfo 0x3d1d3294ef79)>,N=0x7c953bf4d49 <String[4]\: ,\n  >)
2: Join(aka Join) [native array.js:143] [pc=0x3629ef616696] (this=0x3d1d32904189 <undefin...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [/usr/bin/node]
 2: 0xe2c5fc [/usr/bin/node]
 3: v8::Utils::ReportApiFailure(char const*, char const*) [/usr/bin/node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [/usr/bin/node]
 5: v8::internal::Factory::NewRawTwoByteString(int, v8::internal::PretenureFlag) [/usr/bin/node]
 6: v8::internal::Runtime_SparseJoinWithSeparator(int, v8::internal::Object**, v8::internal::Isolate*) [/usr/bin/node]
 7: 0x3629ef50961b

Le serveur est équipé de 16 Go de RAM et de 24 Go de SSD swap. Je doute fort que mon script ait dépassé 36gb de mémoire. Au moins, il ne devrait pas

script crée un index de fichiers stockés comme Array of Objects avec les métadonnées des fichiers (dates de modification, permissions, etc, pas de big data).

Voici le code complet du script : http://pastebin.com/mjaD76c3

J'ai déjà expérimenté des problèmes bizarres de noeud dans le passé avec ce script ce qui m'a forcé par exemple à diviser l'index en plusieurs fichiers car le noeud avait des problèmes lorsqu'il travaillait sur des fichiers aussi gros que String. Y a-t-il un moyen d'améliorer la gestion de la mémoire de nodejs avec d'énormes ensembles de données ?

Answer 1

Si je me souviens bien, il y a une limite standard stricte pour l'utilisation de la mémoire dans V8 d'environ 1,7 Go, si vous ne l'augmentez pas manuellement.

Dans un de nos produits, nous avons suivi cette solution dans notre script de déploiement :

 node --max-old-space-size=4096 yourFile.js

Il y aurait aussi un nouveau commandement spatial mais comme je l'ai lu ici : un-tour-de-v8-garbage-collection le nouvel espace ne recueille que les données à court terme nouvellement créées et l'ancien espace contient toutes les structures de données référencées, ce qui devrait être dans votre cas la meilleure option.

Answer 2

Juste au cas où quelqu'un rencontrerait ce problème dans un environnement où il ne peut pas définir directement les propriétés des nœuds (dans mon cas, un outil de construction) :

NODE_OPTIONS="--max-old-space-size=4096" node ...

Vous pouvez définir les options de nœud à l'aide d'une variable d'environnement si vous ne pouvez pas les transmettre sur la ligne de commande.

Answer 3

J'ai rencontré ce problème en essayant de déboguer avec VSCode, donc je voulais juste ajouter que c'est la façon dont vous pouvez ajouter l'argument à votre configuration de débogage.

Vous pouvez l'ajouter à la runtimeArgs de votre configuration dans launch.json .

Voir l'exemple ci-dessous.

{
"version": "0.2.0",
"configurations": [{
        "type": "node",
        "request": "launch",
        "name": "Launch Program",
        "program": "${workspaceRoot}\\server.js"
    },
    {
        "type": "node",
        "request": "launch",
        "name": "Launch Training Script",
        "program": "${workspaceRoot}\\training-script.js",
        "runtimeArgs": [
            "--max-old-space-size=4096"
        ]
    }
]}

Answer 4

Je me débattais avec ce problème même après avoir défini --max-old-space-size.

Ensuite, j'ai réalisé que je devais mettre les options --max-old-space-size avant le karma script.

il est également préférable de spécifier les deux syntaxes --max-old-space-size et --max_old_space_size mon script pour karma :

node --max-old-space-size=8192 --optimize-for-size --max-executable-size=8192  --max_old_space_size=8192 --optimize_for_size --max_executable_size=8192 node_modules/karma/bin/karma start --single-run --max_new_space_size=8192   --prod --aot

référence https://github.com/angular/angular-cli/issues/1652

Answer 5

Pour trouver et corriger un problème de mémoire avec quelque chose comme memwatch pourrait aider.