Comment déterminer le nombre de CPU en utilisant python ?

Question

Je souhaite connaître le nombre de CPU sur la machine locale en utilisant Python. Le résultat doit être user/real tel qu'il est produit par time(1) lorsqu'il est appelé avec un programme de dimensionnement optimal de l'espace utilisateur uniquement.

Answer 1

Si vous avez une version de python >= 2.6, vous pouvez simplement utiliser

import multiprocessing

multiprocessing.cpu_count()

http://docs.python.org/library/multiprocessing.html#multiprocessing.cpu_count

Answer 2

Si vous êtes intéressé par le nombre de processeurs disponible à votre processus actuel, vous devez vérifier cpuset d'abord. Sinon (ou si cpuset n'est pas utilisé), multiprocessing.cpu_count() est la voie à suivre dans Python 2.6 et les versions plus récentes. La méthode suivante s'appuie sur quelques méthodes alternatives dans les versions plus anciennes de Python :

import os
import re
import subprocess

def available_cpu_count():
    """ Number of available virtual or physical CPUs on this system, i.e.
    user/real as output by time(1) when called with an optimally scaling
    userspace-only program"""

    # cpuset
    # cpuset may restrict the number of *available* processors
    try:
        m = re.search(r'(?m)^Cpus_allowed:\s*(.*)$',
                      open('/proc/self/status').read())
        if m:
            res = bin(int(m.group(1).replace(',', ''), 16)).count('1')
            if res > 0:
                return res
    except IOError:
        pass

    # Python 2.6+
    try:
        import multiprocessing
        return multiprocessing.cpu_count()
    except (ImportError, NotImplementedError):
        pass

    # https://github.com/giampaolo/psutil
    try:
        import psutil
        return psutil.cpu_count()   # psutil.NUM_CPUS on old versions
    except (ImportError, AttributeError):
        pass

    # POSIX
    try:
        res = int(os.sysconf('SC_NPROCESSORS_ONLN'))

        if res > 0:
            return res
    except (AttributeError, ValueError):
        pass

    # Windows
    try:
        res = int(os.environ['NUMBER_OF_PROCESSORS'])

        if res > 0:
            return res
    except (KeyError, ValueError):
        pass

    # jython
    try:
        from java.lang import Runtime
        runtime = Runtime.getRuntime()
        res = runtime.availableProcessors()
        if res > 0:
            return res
    except ImportError:
        pass

    # BSD
    try:
        sysctl = subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
                                  stdout=subprocess.PIPE)
        scStdout = sysctl.communicate()[0]
        res = int(scStdout)

        if res > 0:
            return res
    except (OSError, ValueError):
        pass

    # Linux
    try:
        res = open('/proc/cpuinfo').read().count('processor\t:')

        if res > 0:
            return res
    except IOError:
        pass

    # Solaris
    try:
        pseudoDevices = os.listdir('/devices/pseudo/')
        res = 0
        for pd in pseudoDevices:
            if re.match(r'^cpuid@[0-9]+$', pd):
                res += 1

        if res > 0:
            return res
    except OSError:
        pass

    # Other UNIXes (heuristic)
    try:
        try:
            dmesg = open('/var/run/dmesg.boot').read()
        except IOError:
            dmesgProcess = subprocess.Popen(['dmesg'], stdout=subprocess.PIPE)
            dmesg = dmesgProcess.communicate()[0]

        res = 0
        while '\ncpu' + str(res) + ':' in dmesg:
            res += 1

        if res > 0:
            return res
    except OSError:
        pass

    raise Exception('Can not determine number of CPUs on this system')

Answer 3

Une autre option consiste à utiliser la fonction psutil qui s'avèrent toujours utiles dans ces situations :

>>> import psutil
>>> psutil.cpu_count()
2

Cela devrait fonctionner sur toutes les plates-formes prises en charge par psutil (Unix et Windows).

Notez que dans certains cas multiprocessing.cpu_count peut soulever une NotImplementedError alors que psutil pourra obtenir le nombre de CPU. Cela s'explique simplement par le fait que psutil tente d'abord d'utiliser les mêmes techniques que celles utilisées par multiprocessing et, en cas d'échec, il utilise également d'autres techniques.

Answer 4

multiprocessing.cpu_count() renverra le nombre de CPU logiques, donc si vous avez un CPU à quatre cœurs avec hyperthreading, il renverra 8 . Si vous souhaitez connaître le nombre de processeurs physiques, utilisez les liens python vers hwloc :

#!/usr/bin/env python
import hwloc
topology = hwloc.Topology()
topology.load()
print topology.get_nbobjs_by_type(hwloc.OBJ_CORE)

hwloc est conçu pour être portable à travers les systèmes d'exploitation et les architectures.

Answer 5

Je ne sais pas comment ajouter au code ou répondre au message, mais voici un support pour jython que vous pouvez ajouter avant d'abandonner :

# jython
try:
    from java.lang import Runtime
    runtime = Runtime.getRuntime()
    res = runtime.availableProcessors()
    if res > 0:
        return res
except ImportError:
    pass