Ruby: Ne peut allouer de la mémoire

Quand Ruby appels fork l'OS pour faire une copie de l'ensemble du processus parent de l'espace d'adresse, même si la fourche est seulement appelé à exec un autre petit processus comme ls. Momentanément, votre système doit être capable d'allouer une partie de la mémoire au moins de la taille de l'Ruby processus parent avant de s'effondrer jusqu'à ce que le processus de l'enfant a réellement besoin.

Si les rails sont en général très gourmands en mémoire. Alors, si quelque chose utilise fork, vous avez besoin de deux fois plus de mémoire.

TL;DR Utilisation posix-spawn au lieu de la fourchette si vous êtes dans le contrôle du code. Donner votre VM 1024MB ou d'un peu plus d'espace de swap de prendre le relais pour la fork appel

Exemple Ruby Utilisation de la Mémoire avecfork

Prendre un échantillon aléatoire de la VM, ce qu'on a de l'espace de swap désactivé:

$ free -m
             total       used       free     shared    buffers     cached
Mem:          1009        571        438          0          1         35
-/+ buffers/cache:        534        475
Swap:            0          0          0

Regarder la Mem: ligne et free colonne. C'est autour de votre taille limite pour un nouveau processus, dans mon cas 438MiB

Mon buffers/cached ont déjà été rincé pour ce test, afin que ma free la mémoire est à la limite. Vous pouvez avoir besoin de prendre la buffers/cache valeurs en compte si elles sont grosses. Linux a la capacité d'expulser rassis cache lorsque la mémoire est nécessaire par un processus.

Utilisation de la mémoire

Créer un rubis processus avec une corde autour de la taille de votre mémoire libre. Il y a une surcharge pour le ruby processus de sorte qu'il ne va pas correspondre exactement à free.

$ ruby -e 'mb = 380; a="z"*mb*2**20; puts "=)"'
=)

Alors que la chaîne de légèrement plus grand:

$ ruby -e 'mb = 385; a="z"*mb*2**20; puts "=)"'
-e:1:in `*': failed to allocate memory (NoMemoryError)
        from -e:1:in `<main>'

Ajouter un fork pour le ruby, réduisant ainsi mb jusqu'à ce qu'il s'exécute.

$ ruby -e 'mb = 195; a="z"*mb*2**20; fork; puts "=)"'
=)

Un peu plus grand, fourche processus de produire l' ENOMEM erreur:

$ ruby -e 'mb = 200; a="z"*mb*2**20; fork; puts "=)"'
-e:1:in `fork': Cannot allocate memory - fork(2) (Errno::ENOMEM)
        from -e:1:in `<main>'

L'exécution d'une commande avec des backticks lance ce processus avec un fork a donc le même résultat:

$ ruby -e 'mb = 200; a="z"*mb*2**20; `ls`'
-e:1:in ``': Cannot allocate memory - ls (Errno::ENOMEM)
        from -e:1:in `<main>'

Donc là vous allez, vous aurez besoin d'environ deux fois le parent processus de la mémoire disponible sur le système de la fourche à la fourchette un nouveau processus. L'IRM Rubis s'appuie fortement sur fork pour la multi-modèle de processus, cela est dû à la conception de Ruby qui utilise un mondial interprète de verrouillage (GIL) qui ne permet qu'un seul thread à exécuter à la fois par ruby processus.

Je crois que Python a beaucoup moins d'utilisation de fork en interne. Lorsque vous utilisez os.fork en Python, la même chose se produit si:

python -c 'a="c"*420*2**20;'
python -c 'import os; a="c"*200*2**20; os.fork()'

Oracle ont un article détaillé sur le problème et de parler à l'aide de la variante de posix_spawn(). L'article vise à Solaris, mais c'est un général POSIX Unix question s'applique à Linux (si pas la plupart des systèmes Unix).

Il y a aussi un Rubis de mise en œuvre de posix-spawn que vous pourriez utiliser si vous êtes dans le contrôle du code. Ce module ne remplace rien dans les Rails, de sorte qu'il ne vous aidera pas ici, sauf si vous avez remplacé les appels à fork vous-même.

OriginalL'auteur