421 votes

Comment obtenir l'utilisation actuelle du CPU et de la RAM en Python ?

Quelle est votre méthode préférée pour obtenir l'état actuel du système (CPU actuel, RAM, espace disque libre, etc.) en Python ? Points bonus pour les plateformes *nix et Windows.

D'après mes recherches, il semble y avoir plusieurs façons d'extraire cette information :

  1. En utilisant une bibliothèque telle que PSI (qui semble actuellement ne pas être développé activement et ne pas être supporté sur plusieurs plateformes) ou quelque chose comme pystatgrab (là encore, aucune activité depuis 2007, semble-t-il, et aucun support pour Windows).

  2. L'utilisation d'un code spécifique à la plate-forme, comme l'utilisation d'un os.popen("ps") ou similaire pour les systèmes *nix et MEMORYSTATUS en ctypes.windll.kernel32 (voir cette recette sur ActiveState ) pour la plate-forme Windows. On pourrait créer une classe Python avec tous ces bouts de code.

Ce n'est pas que ces méthodes soient mauvaises, mais existe-t-il déjà un moyen multiplateforme et bien supporté de faire la même chose ?

0 votes

Vous pouvez créer votre propre bibliothèque multiplateforme en utilisant des importations dynamiques : "if sys.platform == 'win32' : import win_sysstatus as sysstatus ; else" ...

1 votes

Ce serait cool d'avoir quelque chose qui fonctionne sur App Engine aussi.

1 votes

L'âge des paquets est-il important ? Si quelqu'un a réussi du premier coup, pourquoi ne le ferait-il pas encore ?

519voto

Jon Cage Points 14126

La bibliothèque psutil vous donne des informations sur le CPU, la RAM, etc., sur une variété de plateformes :

psutil est un module fournissant une interface pour récupérer des informations sur les processus en cours et l'utilisation du système (CPU, mémoire) de manière portable en utilisant Python, mettant en œuvre de nombreuses fonctionnalités offertes par des outils comme ps, top et le gestionnaire de tâches de Windows.

Il supporte actuellement Linux, Windows, OSX, Sun Solaris, FreeBSD, OpenBSD et NetBSD, les architectures 32 et 64 bits, avec les versions de Python de 2.6 à 3.5 (les utilisateurs de Python 2.4 et 2.5 peuvent utiliser la version 2.1.3).


Quelques exemples :

#!/usr/bin/env python
import psutil
# gives a single float value
psutil.cpu_percent()
# gives an object with many fields
psutil.virtual_memory()
# you can convert that object to a dictionary 
dict(psutil.virtual_memory()._asdict())
# you can have the percentage of used RAM
psutil.virtual_memory().percent
79.2
# you can calculate percentage of available memory
psutil.virtual_memory().available * 100 / psutil.virtual_memory().total
20.8

Voici une autre documentation qui fournit davantage de concepts et de notions d'intérêt :

38 votes

Cela a fonctionné pour moi sur OSX : $ pip install psutil ; >>> import psutil; psutil.cpu_percent() y >>> psutil.virtual_memory() qui retourne un bel objet vmem : vmem(total=8589934592L, available=4073336832L, percent=52.6, used=5022085120L, free=3560255488L, active=2817949696L, inactive=513081344L, wired=1691054080L)

12 votes

Comment faire sans la bibliothèque psutil ?

2 votes

@user1054424 Il existe une bibliothèque intégrée dans python appelée ressource . Cependant, il semble que le plus que vous puissiez faire avec lui est de récupérer la mémoire qu'un seul processus python utilise et/ou ses processus enfants. Il ne semble pas non plus très précis. Un test rapide a montré ressource d'environ 2 Mo dans l'utilitaire de mon Mac.

80voto

wordsforthewise Points 2907

Utilisez le Bibliothèque psutil . Sur Ubuntu 18.04, pip a installé 5.5.0 (dernière version) à partir du 1-30-2019. Les versions plus anciennes peuvent se comporter de manière quelque peu différente. Vous pouvez vérifier votre version de psutil en faisant ceci en Python :

from __future__ import print_function  # for Python2
import psutil
print(psutil.__version__)

Pour obtenir des statistiques sur la mémoire et le processeur :

from __future__ import print_function
import psutil
print(psutil.cpu_percent())
print(psutil.virtual_memory())  # physical memory usage
print('memory % used:', psutil.virtual_memory()[2])

El virtual_memory (tuple) aura le pourcentage de mémoire utilisé à l'échelle du système. Ce pourcentage semble être surestimé de quelques pour cent sur Ubuntu 18.04.

Vous pouvez également obtenir la mémoire utilisée par l'instance actuelle de Python :

import os
import psutil
pid = os.getpid()
python_process = psutil.Process(pid)
memoryUse = python_process.memory_info()[0]/2.**30  # memory use in GB...I think
print('memory use:', memoryUse)

qui donne l'utilisation actuelle de la mémoire de votre script Python.

Il existe des exemples plus approfondis sur le site page pypi pour psutil .

0 votes

S'il vous plaît, n'appelez pas les variables py

0 votes

Je sais que ce n'est pas la meilleure pratique actuelle, mais py n'est pas un mot clé ou quelque chose comme ça. Y a-t-il une raison, outre le fait que ce n'est pas un nom de variable descriptif, pour laquelle vous dites qu'il ne faut pas utiliser py ?

0 votes

Il est universellement utilisé dans de nombreux autres contextes pour indiquer "quelque chose qui se rapporte à python", par exemple redis-py. Je n'utiliserais pas les deux lettres py pour indiquer le processus en cours.

46voto

Hrabal Points 913

Seulement pour Linux : Une seule ligne pour l'utilisation de la RAM avec seulement la dépendance de stdlib :

import os
tot_m, used_m, free_m = map(int, os.popen('free -t -m').readlines()[-1].split()[1:])

edit : solution spécifiée dépendance du système d'exploitation

3 votes

Très utile ! Pour l'obtenir directement en unités lisibles par l'homme : os.popen('free -th').readlines()[-1].split()[1:] . Notez que cette ligne renvoie une liste de chaînes de caractères.

2 votes

El python:3.8-slim-buster n'a pas free

0 votes

Jetez un coup d'œil aquí @MartinThoma.

23voto

CodeGench Points 703

Les codes ci-dessous, sans bibliothèques externes, ont fonctionné pour moi. J'ai testé sous Python 2.7.9

Utilisation du CPU

import os

    CPU_Pct=str(round(float(os.popen('''grep 'cpu ' /proc/stat | awk '{usage=($2+$4)*100/($2+$4+$5)} END {print usage }' ''').readline()),2))

    #print results
    print("CPU Usage = " + CPU_Pct)

Et utilisation de la mémoire vive, totale, utilisée et libre

import os
mem=str(os.popen('free -t -m').readlines())
"""
Get a whole line of memory output, it will be something like below
['             total       used       free     shared    buffers     cached\n', 
'Mem:           925        591        334         14         30        355\n', 
'-/+ buffers/cache:        205        719\n', 
'Swap:           99          0         99\n', 
'Total:        1025        591        434\n']
 So, we need total memory, usage and free memory.
 We should find the index of capital T which is unique at this string
"""
T_ind=mem.index('T')
"""
Than, we can recreate the string with this information. After T we have,
"Total:        " which has 14 characters, so we can start from index of T +14
and last 4 characters are also not necessary.
We can create a new sub-string using this information
"""
mem_G=mem[T_ind+14:-4]
"""
The result will be like
1025        603        422
we need to find first index of the first space, and we can start our substring
from from 0 to this index number, this will give us the string of total memory
"""
S1_ind=mem_G.index(' ')
mem_T=mem_G[0:S1_ind]
"""
Similarly we will create a new sub-string, which will start at the second value. 
The resulting string will be like
603        422
Again, we should find the index of first space and than the 
take the Used Memory and Free memory.
"""
mem_G1=mem_G[S1_ind+8:]
S2_ind=mem_G1.index(' ')
mem_U=mem_G1[0:S2_ind]

mem_F=mem_G1[S2_ind+8:]
print 'Summary = ' + mem_G
print 'Total Memory = ' + mem_T +' MB'
print 'Used Memory = ' + mem_U +' MB'
print 'Free Memory = ' + mem_F +' MB'

4 votes

Ne pensez-vous pas que le grep y awk serait mieux pris en charge par le traitement des chaînes de caractères en Python ?

1 votes

Personnellement, je ne suis pas familier avec awk, j'ai fait une version sans awk de l'extrait d'utilisation du processeur ci-dessous. Très pratique, merci !

5 votes

Il est fallacieux de dire que ce code n'utilise pas de bibliothèques externes. En fait, celles-ci dépendent fortement de la disponibilité de grep, awk et free. Cela rend le code ci-dessus non portable. L'OP a déclaré "Points bonus pour les plateformes *nix et Windows".

13voto

monkut Points 14549

Voici quelque chose que j'ai mis en place il y a quelque temps, c'est uniquement Windows mais cela peut vous aider à faire une partie de ce dont vous avez besoin.

Dérivé de : "pour sys mem disponible" http://msdn2.microsoft.com/en-us/library/aa455130.aspx

"informations sur les processus individuels et exemples de python script" http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

NOTE : l'interface/processus WMI est également disponible pour effectuer des tâches similaires. Je ne l'utilise pas ici parce que la méthode actuelle répond à mes besoins, mais si un jour il est nécessaire d'étendre ou d'améliorer cette méthode, alors vous voudrez peut-être étudier les outils WMI disponibles.

WMI pour python :

http://tgolden.sc.sabren.com/python/wmi.html

Le code :

'''
Monitor window processes

derived from:
>for sys available mem
http://msdn2.microsoft.com/en-us/library/aa455130.aspx

> individual process information and python script examples
http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true

NOTE: the WMI interface/process is also available for performing similar tasks
        I'm not using it here because the current method covers my needs, but if someday it's needed
        to extend or improve this module, then may want to investigate the WMI tools available.
        WMI for python:
        http://tgolden.sc.sabren.com/python/wmi.html
'''

__revision__ = 3

import win32com.client
from ctypes import *
from ctypes.wintypes import *
import pythoncom
import pywintypes
import datetime

class MEMORYSTATUS(Structure):
    _fields_ = [
                ('dwLength', DWORD),
                ('dwMemoryLoad', DWORD),
                ('dwTotalPhys', DWORD),
                ('dwAvailPhys', DWORD),
                ('dwTotalPageFile', DWORD),
                ('dwAvailPageFile', DWORD),
                ('dwTotalVirtual', DWORD),
                ('dwAvailVirtual', DWORD),
                ]

def winmem():
    x = MEMORYSTATUS() # create the structure
    windll.kernel32.GlobalMemoryStatus(byref(x)) # from cytypes.wintypes
    return x    

class process_stats:
    '''process_stats is able to provide counters of (all?) the items available in perfmon.
    Refer to the self.supported_types keys for the currently supported 'Performance Objects'

    To add logging support for other data you can derive the necessary data from perfmon:
    ---------
    perfmon can be run from windows 'run' menu by entering 'perfmon' and enter.
    Clicking on the '+' will open the 'add counters' menu,
    From the 'Add Counters' dialog, the 'Performance object' is the self.support_types key.
    --> Where spaces are removed and symbols are entered as text (Ex. # == Number, % == Percent)
    For the items you wish to log add the proper attribute name in the list in the self.supported_types dictionary,
    keyed by the 'Performance Object' name as mentioned above.
    ---------

    NOTE: The 'NETFramework_NETCLRMemory' key does not seem to log dotnet 2.0 properly.

    Initially the python implementation was derived from:
    http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true
    '''
    def __init__(self,process_name_list=[],perf_object_list=[],filter_list=[]):
        '''process_names_list == the list of all processes to log (if empty log all)
        perf_object_list == list of process counters to log
        filter_list == list of text to filter
        print_results == boolean, output to stdout
        '''
        pythoncom.CoInitialize() # Needed when run by the same process in a thread

        self.process_name_list = process_name_list
        self.perf_object_list = perf_object_list
        self.filter_list = filter_list

        self.win32_perf_base = 'Win32_PerfFormattedData_'

        # Define new datatypes here!
        self.supported_types = {
                                    'NETFramework_NETCLRMemory':    [
                                                                        'Name',
                                                                        'NumberTotalCommittedBytes',
                                                                        'NumberTotalReservedBytes',
                                                                        'NumberInducedGC',    
                                                                        'NumberGen0Collections',
                                                                        'NumberGen1Collections',
                                                                        'NumberGen2Collections',
                                                                        'PromotedMemoryFromGen0',
                                                                        'PromotedMemoryFromGen1',
                                                                        'PercentTimeInGC',
                                                                        'LargeObjectHeapSize'
                                                                     ],

                                    'PerfProc_Process':              [
                                                                          'Name',
                                                                          'PrivateBytes',
                                                                          'ElapsedTime',
                                                                          'IDProcess',# pid
                                                                          'Caption',
                                                                          'CreatingProcessID',
                                                                          'Description',
                                                                          'IODataBytesPersec',
                                                                          'IODataOperationsPersec',
                                                                          'IOOtherBytesPersec',
                                                                          'IOOtherOperationsPersec',
                                                                          'IOReadBytesPersec',
                                                                          'IOReadOperationsPersec',
                                                                          'IOWriteBytesPersec',
                                                                          'IOWriteOperationsPersec'     
                                                                      ]
                                }

    def get_pid_stats(self, pid):
        this_proc_dict = {}

        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread        

            if len(colItems) > 0:        
                for objItem in colItems:
                    if hasattr(objItem, 'IDProcess') and pid == objItem.IDProcess:

                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            break

        return this_proc_dict      

    def get_stats(self):
        '''
        Show process stats for all processes in given list, if none given return all processes   
        If filter list is defined return only the items that match or contained in the list
        Returns a list of result dictionaries
        '''    
        pythoncom.CoInitialize() # Needed when run by the same process in a thread
        proc_results_list = []
        if not self.perf_object_list:
            perf_object_list = self.supported_types.keys()

        for counter_type in perf_object_list:
            strComputer = "."
            objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator")
            objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2")

            query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type)
            colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread

            try:  
                if len(colItems) > 0:
                    for objItem in colItems:
                        found_flag = False
                        this_proc_dict = {}

                        if not self.process_name_list:
                            found_flag = True
                        else:
                            # Check if process name is in the process name list, allow print if it is
                            for proc_name in self.process_name_list:
                                obj_name = objItem.Name
                                if proc_name.lower() in obj_name.lower(): # will log if contains name
                                    found_flag = True
                                    break

                        if found_flag:
                            for attribute in self.supported_types[counter_type]:
                                eval_str = 'objItem.%s' % (attribute)
                                this_proc_dict[attribute] = eval(eval_str)

                            this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3]
                            proc_results_list.append(this_proc_dict)

            except pywintypes.com_error, err_msg:
                # Ignore and continue (proc_mem_logger calls this function once per second)
                continue
        return proc_results_list     

def get_sys_stats():
    ''' Returns a dictionary of the system stats'''
    pythoncom.CoInitialize() # Needed when run by the same process in a thread
    x = winmem()

    sys_dict = { 
                    'dwAvailPhys': x.dwAvailPhys,
                    'dwAvailVirtual':x.dwAvailVirtual
                }
    return sys_dict

if __name__ == '__main__':
    # This area used for testing only
    sys_dict = get_sys_stats()

    stats_processor = process_stats(process_name_list=['process2watch'],perf_object_list=[],filter_list=[])
    proc_results = stats_processor.get_stats()

    for result_dict in proc_results:
        print result_dict

    import os
    this_pid = os.getpid()
    this_proc_results = stats_processor.get_pid_stats(this_pid)

    print 'this proc results:'
    print this_proc_results

0 votes

Utilisez GlobalMemoryStatusEx au lieu de GlobalMemoryStatus car l'ancien peut renvoyer de mauvaises valeurs.

9 votes

Vous devez éviter from x import * déclarations ! Elles encombrent l'espace de nom principal et écrasent les autres fonctions et variables.

Prograide.com

Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.

Powered by:

X