Comment obtenir la mémoire disponible C++/g++ ?

Question

Je veux allouer mes tampons en fonction de la mémoire disponible. Ainsi, lorsque j'effectue un traitement et que l'utilisation de la mémoire augmente, elle reste toujours dans les limites de la mémoire disponible. Existe-t-il un moyen d'obtenir la mémoire disponible (je ne sais pas si l'état de la mémoire virtuelle ou physique fera une différence ?) La méthode doit être indépendante de la plateforme car elle sera utilisée sous Windows, OS X, Linux et AIX. (Et si possible, je voudrais aussi allouer une partie de la mémoire disponible pour mon application, quelqu'un qui ne change pas pendant l'exécution).

Edit : Je l'ai fait avec une allocation de mémoire configurable. Je comprends que ce n'est pas une bonne idée, car la plupart des systèmes d'exploitation gèrent la mémoire pour nous, mais mon application était un framework ETL (destiné à être utilisé sur un serveur, mais qui était également utilisé sur un ordinateur de bureau comme un plugin pour Adobe Indesign). J'ai donc été confronté au problème suivant : au lieu d'utiliser le swap, Windows renvoyait une mauvaise allocation et d'autres applications commençaient à échouer. Et comme on m'a appris à éviter les pannes et ainsi de suite, j'essayais juste de me dégrader gracieusement.

Answer 1

Sur les systèmes d'exploitation de type UNIX, il existe sysconf .

#include <unistd.h>

unsigned long long getTotalSystemMemory()
{
    long pages = sysconf(_SC_PHYS_PAGES);
    long page_size = sysconf(_SC_PAGE_SIZE);
    return pages * page_size;
}

Sous Windows, il y a GlobalMemoryStatusEx :

#include <windows.h>

unsigned long long getTotalSystemMemory()
{
    MEMORYSTATUSEX status;
    status.dwLength = sizeof(status);
    GlobalMemoryStatusEx(&status);
    return status.ullTotalPhys;
}

Alors fais juste un peu de fantaisie #ifdef et vous serez prêt à partir.

Answer 2

Il y a des raisons de vouloir faire cela dans le HPC pour les logiciels scientifiques. (Pas les logiciels de jeux, web, commerciaux ou embarqués). Les logiciels scientifiques utilisent régulièrement des téraoctets de données pour effectuer un calcul (ou une exécution) (et ce pendant des heures ou des semaines) - toutes ces données ne peuvent pas être stockées en mémoire (et si un jour vous me dites qu'un téraoctet est la norme pour tout PC, tablette ou téléphone, on s'attendra à ce que les logiciels scientifiques gèrent des pétaoctets ou plus). La quantité de mémoire peut également dicter le type de méthode/algorithme qui a du sens. L'utilisateur n'a pas toujours envie de décider de la mémoire et de la méthode - il a d'autres chats à fouetter. Le programmeur doit donc avoir une bonne idée de ce qui est disponible (4 Go, 8 Go, 64 Go ou plus de nos jours) pour décider si une méthode fonctionnera automatiquement ou si une méthode plus laborieuse doit être choisie. Le disque est utilisé mais la mémoire est préférable. Et les utilisateurs de ces logiciels ne sont pas encouragés à faire trop de choses sur leur ordinateur lorsqu'ils exécutent ces logiciels - en fait, ils utilisent souvent des machines/serveurs dédiés.

Answer 3

Il n'y a pas de moyen indépendant de la plate-forme pour faire cela, les différents systèmes d'exploitation utilisent différentes stratégies de gestion de la mémoire.

Ces autres questions de stack overflow vous aideront :

• Comment obtenir l'utilisation de la mémoire au moment de l'exécution en c++ ?
• API d'utilisation de la mémoire en C/C++ sous Linux/Windows

Vous devez cependant faire attention : il est notoirement difficile d'obtenir une valeur "réelle" pour la mémoire disponible dans linux. Ce que le système d'exploitation affiche comme étant utilisé par un processus n'est pas une garantie de ce qui est réellement alloué pour le processus.

Il s'agit d'un problème courant lors du développement de systèmes linux embarqués tels que les routeurs, où vous voulez mettre en mémoire tampon autant que le matériel le permet. Voici un lien vers un exemple montrant comment obtenir cette information dans un linux (en C) :

• http://www.unix.com/programming/25035-determining-free-available-memory-mv-linux.html

Answer 4

Exemple de Mac OS X utilisant sysctl ( man 3 sysctl ) :

#include <stdio.h>
#include <stdint.h>
#include <sys/types.h>
#include <sys/sysctl.h>

int main(void)
{
    int mib[2] = { CTL_HW, HW_MEMSIZE };
    u_int namelen = sizeof(mib) / sizeof(mib[0]);
    uint64_t size;
    size_t len = sizeof(size);

    if (sysctl(mib, namelen, &size, &len, NULL, 0) < 0)
    {
        perror("sysctl");
    }
    else
    {
        printf("HW.HW_MEMSIZE = %llu bytes\n", size);
    }
    return 0;
}

(peut aussi fonctionner sur d'autres systèmes d'exploitation de type BSD ?)

Answer 5

La fonction "officielle" de cette est était std::get_temporary_buffer() . Cependant, vous pourriez vouloir tester si votre plateforme a une implémentation décente. Je comprends que toutes les plateformes ne se comportent pas comme souhaité.