Vert-filetage et de fil en Python

Comme Wikipédia membres:

Fils verts émuler les environnements multi-threads sans compter sur n'importe quel système d'exploitation natif de capacités, et ils sont gérés dans l'espace utilisateur au lieu de l'espace noyau, leur permettant de travailler dans des environnements qui n'ont pas de support natif des threads.

Python fils sont mis en œuvre comme pthreads (kernel threads),
et à cause de la global interprète de verrouillage (GIL), un Python processus s'exécute uniquement un seul thread à la fois.

[QUESTION]
Mais dans le cas de Green-threads (ou soi-disant greenlet ou tasklets),

  1. Ne le GIL affectent-ils? Peut-il y avoir plus d'un greenlet
    cours d'exécution à un moment?
  2. Quels sont les pièges de l'utilisation greenlets ou tasklets?
  3. Si j'utilise greenlets, combien d'entre eux peut un processus peut-il gérer? (Je me demande parce que dans un seul processus, vous pouvez ouvrir des threads jusqu'à
    ulimit(-s, -v) défini dans votre *ix système).

J'ai besoin d'un peu de perspicacité, et il serait utile si quelqu'un pouvait partager leur expérience, ou me guider vers le droit chemin.

  • La réponse à tous les trois est "ça dépend de la greenlet mise en œuvre".
  • Stackless Python pénètre dans beaucoup de ces concepts. Je recommande d'obtenir une version et de faire le tutoriel sur le site officiel. Il a beaucoup de explination sur les types de questions que vous vous posez.
InformationsquelleAutor Rahul Gautam | 2012-10-06
  1. 18

    Vous pouvez penser greenlets plus comme coopérative de threads. Ce que cela signifie, c'est qu'il n'y a pas de planificateur de manière préventive commutation entre votre fils à un moment donné - à la place de votre greenlets volontairement/expressément renoncer à de contrôle de l'un à l'autre à des points spécifiques de votre code.

    Ne le GIL affectent-ils? Peut-il y avoir plus d'un greenlet de course
    à un moment?

    Un seul chemin d'accès du code est en cours d'exécution à un moment - l'avantage est que vous avez le contrôle ultime au cours de laquelle celui qui est.

    Quels sont les pièges de l'utilisation greenlets ou tasklets?

    Vous devez être plus prudent - un mal écrit greenlet ne va pas céder le contrôle à d'autres greenlets. D'autre part, puisque vous savez que lorsqu'un greenlet volonté de changement de contexte, vous pourriez être en mesure de s'en tirer avec pas créer des serrures pour le partage des données-structures.

    Si j'utilise greenlets, combien d'entre eux peut un processus peut-il gérer? (Je me demande parce que dans un seul processus, vous pouvez ouvrir des threads jusqu'à umask limite fixée dans votre *ix du système.)

    Avec régulièrement des threads, plus vous avez le plus de planificateur de frais généraux que vous avez. Aussi régulièrement des threads restent relativement élevée du contexte de l'interrupteur de surcharge. Greenlets n'ont pas cette surcharge de travail qui leur sont associés. À partir de la bouteille de documentation:

    La plupart des serveurs de limiter la taille du travailleur piscines à un taux relativement faible
    nombre de threads simultanés, en raison de la surcharge élevée impliqués dans
    la commutation entre les et de créer de nouvelles discussions. Alors que les threads sont bon marché
    par rapport à des processus (fourches), elles sont toujours chères à créer pour
    chaque nouvelle connexion.

    La gevent module ajoute greenlets au mélange. Greenlets se comportent de manière semblable
    traditionnelle, de fils, mais sont très bon marché pour créer. Un gevent à base de
    le serveur peut pondre des milliers de greenlets (un pour chaque connexion) avec
    presque pas de frais généraux. Le blocage individuel greenlets n'a pas d'impact sur le
    les serveurs capacité à accepter de nouvelles demandes. Le nombre de connexions simultanées
    connexions est pratiquement illimitée.

    Il y a aussi quelques autres à lire ici si vous êtes intéressés:
    http://sdiehl.github.io/gevent-tutorial/

    • web.archive.org/web/20160304020253/www.devmusings.com/blog/2013/...
    • Merci de mettre toutes ces infos, je pense qu'avec les informations fournies ici, on peut aller de l'avant rapidement. Merci @Martin
    • cela pourrait ne pas être le meilleur endroit pour demander mais, la déclaration "un Seul chemin d'accès du code est en cours d'exécution à un moment" valable pour tous les threads utilisateur (ce sont les mêmes que greenlets, non?) ou est-ce seulement valable pour python?
    • upvoted! donc disons que j'ai eu 10 fils verts effectuez 10 différentes jointures entre les 2 mêmes sqlite tableaux A et B, vous dites qu'ils seront exécutées de manière séquentielle?
    • Ils seront exécutées de manière séquentielle, oui. Tant que vous êtes rendement de chaque greenlet après chaque requête
    InformationsquelleAutor Martin Konecny
  2. 4

    Je suppose que vous parlez de evenlet/gevent greenlets

    1) Il peut être un seul greenlet de course

    2) C'est la coopérative de multithreading, ce qui signifie que si un greenlet est bloqué dans une boucle infinie, l'ensemble de votre programme est bloqué, généralement greenlets sont prévues, soit explicitement, soit au cours de l'I/O

    3) beaucoup plus que les fils, il dépend de la quantité de RAM disponible

    • Donc, vous dites que le seul avantage de l'utilisation de greenlet est vous pouvez avoir plus de "fils" que de vrais fils.
    • Je ne suis pas sûr, mais je pense que c'est plus rapide pour basculer entre greenlets que c'est pour changer d'OS les sujets car ils sont plus légers mais de ne pas me citer sur ce
    • Vert-fils ont environ le même coût que l'appel d'une fonction, tandis que le multi-threading besoin d'un changement de contexte (économie de l'ensemble de l'état du thread dans la mémoire, charge de le cadre d'un nouveau thread jusqu'à ce passa au-dessus). Ces deux méthode n'appartiennent pas à la même échelle des frais généraux (et les processus sont encore pire).
    • Je crois que vous êtes l'amalgame entre un processus de changement de contexte avec un fil de changement de contexte. Les Threads ne pas écrire eux-mêmes, à la mémoire ou au besoin à la charge lors de la commutation entre les threads d'un même processus -- ils existent à l'intérieur et à partager le même processus de l'espace mémoire.
    • tout ce qui se met pour les threads est le compteur de programme, le processeur registres et le pointeur de pile. C'est beaucoup plus petite que le plein espace d'adressage mémoire. C'est l'une des principales raisons pour lesquelles le concept de threads existent, au lieu de tout juste en cours de processus.
    • vous avez parfaitement raison. Je n'ai pas l'intention de remédier à ce niveau de détail. En fait de plusieurs facteurs jouent les uns contre les autres, bien que les threads ont quelque chose que les fils verts de ne pas (ils peuvent vivre tous en même temps grâce au multi-core, la technologie hyper-threading, etc.), nous espérons de vert-filetage avec haut-assez fréquence jeton à la main pour vous faire un peu de meilleures performances que les threads partageant la même ressource physique...
    • des fils verts appartenant à la même thread d'exécution et, par conséquent, la prédiction, prefetch - et cache-optimisation de l'optimisation sur eux tous, alors que les threads optimisations sont plus traitées sur une base indépendante. N'est-ce pas la raison pour laquelle une boucle d'événement sont dit plus vite que les pools de threads ?

    InformationsquelleAutor rguillebert