OpenMP et Python

Cython

Cython a OpenMP support: Avec Cython, OpenMP peut être ajouté en utilisant l' prange (en parallèle de la gamme) de l'opérateur et de l'ajout de la -fopenmp directive du compilateur pour setup.py.

Lorsque vous travaillez dans un prange strophe, l'exécution est effectuée en parallèle parce que nous désactiver le mondiale interprète de verrouillage (GIL) à l'aide de la with nogil: pour spécifier le bloc où le GIL est désactivé.

Pour compiler _cython_np.pyx_ nous devons modifier la setup.py script comme indiqué ci-dessous. Nous le disons d'informer le compilateur C pour utiliser -fopenmp comme argument lors de la compilation - pour activer OpenMP et de faire le lien avec le OpenMP bibliothèques.

Avec Cython est prange, nous pouvons choisir différentes approches de planification. Avec statique, la charge de travail est répartie uniformément sur les Processeurs disponibles. Cependant, comme certains de vos calcul régions sont coûteux en temps, tandis que d'autres sont bon marché - si nous demandons Cython pour planifier le travail des morceaux tout aussi à l'aide de statique à travers le Cpu, puis les résultats obtenus pour certaines régions va se terminer plus rapidement que d'autres et ces threads puis assis inactif.
À la fois le dynamique et guidée options de planification de tenter d'atténuer ce problème en allouant travailler en petits morceaux de façon dynamique lors de l'exécution, de sorte que les Processeurs sont plus uniformément distribué lorsque la charge de travail du temps de calcul est variable. Ainsi, pour votre code, le bon choix varient selon la nature de votre charge de travail.

Numba

Numba de la version premium, NumbaPro, a un support expérimental d'un prange la parallélisation de l'opérateur pour travailler avec OpenMP.

Pythran

Pythran (Python-à-compilateur C++ pour un sous-ensemble de Python) peuvent profiter de la vectorisation de possibilités et d'OpenMP à base de parallélisation de possibilités, bien qu'il s'exécute à l'aide de Python 2.7 seulement. Vous spécifiez les sections parallèles à l'aide de pragma omp directives (très similaire à Cython est OpenMP décrit ci-dessus), par exemple:

PyPy

Le JIT Python compilateur PyPy supporte le multitraitement module (voir ci-après) et a lancé un projet appelé PyPy-STM "un spécial dans la version de développement de PyPy qui peut exécuter plusieurs indépendante gourmandes threads d'un même processus en parallèle".

Note de côté: multitraitement

OpenMP est une interface de bas niveau à plusieurs cœurs. Vous pouvez regarder la multiprocessing. La multiprocessing module fonctionne à un niveau supérieur, le partage de Python structures de données, tout en OpenMP travaille avec C des objets primitifs (par exemple, les entiers et les flottants) une fois que vous avez compilé à C. Il n'a de sens que pour utiliser OpenMP si vous êtes à la compilation de votre code; si vous n'êtes pas à la compilation (par exemple, si vous êtes en utilisant efficace numpy code et que vous souhaitez exécuter sur de nombreux cœurs), puis coller avec multiprocessing est probablement la bonne approche.

Si vous voulez libérer GIL et utiliser OpenMP ypu pouvez prendre un coup d'oeil à Cython. Il dispose d'un simple parallélisme de certaines tâches courantes. Vous pouvez en lire plus dans Cython la documentation.

Il y a un paquet appelé pymp, que l'auteur décrit comme un ensemble qui apporte OpenMP-comme la fonctionnalité de Python. J'ai essayé de l'utiliser, mais avec les différents cas d'utilisation: traitement d'un fichier. Il a travaillé. Je pense que c'est assez simple à utiliser.
Ci-dessous est un échantillon prélevé à partir de la page GitHub:

import pymp
ex_array = pymp.shared.array((100,), dtype='uint8')
with pymp.Parallel(4) as p:
    for index in p.range(0, 100):
        ex_array[index] = 1
        # The parallel print function takes care of asynchronous output.
        p.print('Yay! {} done!'.format(index))