Multithread de calcul dans excel est lent

Je me demandais si il existe un moyen de contrôle de calcul excel de telle sorte que plusieurs feuilles dans un WB sont recalculés en parallèle, tandis que les autres ne sont pas. Mon problème est que dans l'architecture actuelle, la séquence du processus de calcul que j'ai est trop long. La séquence est piloté à partir de VBA et va quelque chose comme ceci:
1) vba appelle un addin (excel-l'adn vb.net addin, qui contrôle un datareader et attachés de base de données)
2) addin renvoie les données de la feuille 1. Feuilles 2-3 sont recalculés en séquence (feuille 2, puis 3)
3) les feuilles de 4 à 10 sont recalculées dans l'ordre, mais étant donné que chaque indépendamment des liens uniquement vers la feuille 2, ils pourraient, en théorie, de recalculer en parallèle - droit? Mais comment faire cela?
4) commencer le processus avec l'appel de nouvelles données via vba addin décrite dans la section 1)

De l'exécution d'un sous-ensemble de données sur mon ordinateur portable (64 bits avec 32 bits d'excel, intel i7), il prend de 54,6 secondes. Fait intéressant, si j'éteins le multithreading, il prend de 25,8 secondes! De plus si je le lance sur une super machine rapide (2 x Intel Xeon X5570, quad-core “Nehalem” de l'architecture, de 64 bits avec 64 bits d'excel), il est plus lent que mon ordinateur portable, prise de 230seconds avec le multithreading ou 26 secondes sans.

Je me demande si il ya une meilleure façon que je pourrais faire de l'utilisation de processeurs multi-cœurs et le multithreading. La lenteur de bits s'affiche à nouveau calcul excel plutôt que le complément de la vitesse. Toutes les suggestions apprécié.

edit:
La description ci-dessus est un peu de simplification, Dans la réalité, j'ai aussi un processus itératif 'calc/coller-vallées/recalcul' processus qui s'exécute sur chacune des feuilles de 4 à 10 (l'itération produit jusqu'à ce que certains sensibilité requise est atteinte, et alors seulement, est la feuille de calcul). Je crois que ce qui fait courir un wb calculer sous la forme actuelle impraticable.

Feuilles de 4 à 10 sont identiques (sauf pour les codée en dur paramètres d'entrée) et n'ont pas de calcul des dépendances entre les l'un de l'autre. Si le processus de calcul (mentionné procédure d'itération et de la feuille calc) de chacun d'entre eux pourrait être fait en parallèle au lieu de séquentiellement, je pense que tout le processus serait beaucoup plus rapide.

Pour info, j'ai déjà effectué le plus évident de la rationalisation et de l'essai (rupture de formules, en séparant les fonctions volatiles, etc).

L'exécution de l'ensemble de mon jeu de données à travers le processus tel qu'il est, prend environ 16 heures, c'est pourquoi je suis désireux de trouver quelques moyens pour améliorer cette situation.

Merci!

InformationsquelleAutor Yugmorf | 2012-03-28
  1. 4

    • Voici un excellent point de départ pour la lecture sur Excel de calcul de la performance: http://www.decisionmodels.com/calcsecretsc.htm.

    • Vous pouvez marquer une Excel-l'ADN de la fonction en tant que thread-safe à l'aide d'un attribut comme [ExcelFunction(IsThreadSafe=true)], bien que cela ne ressemble pas à le goulet d'étranglement ici. Qui permettra ces fonctions pour être évalués simultanément.

    • Si votre processeur i7 a la technologie hyper-threading (donc des rapports de 4 coeurs de Windows, mais a fait que deux véritables noyaux), alors il peut être plus rapide pour régler le Excel nombre de threads pour le nombre de cœurs (disons 2) au lieu du nombre de threads que le processeur peut exécuter (ce qui serait le Excel par défaut - peut-être 4).

    • Salut Govert. L'excel-adn et dotnet datareader aspects de ce semble assez efficace. En tout cas, j'ai couru micro-timed des tests sur un sous-ensemble de données, en fonction de vos suggestions: Multi-threading off (28.3); Sur + 1 fil (30.3); Sur + 2 fils (70.8); tous les processeurs disponibles (65.1). Commutation IsExceptionSafe=True et IsThreadSafe=True fait pas de différence notable (à la fois faux et vrai à la fois cadencée à 28,3 sec). Je me demande si, si le recalcul de commande pour chaque feuille a été envoyé à partir d'un tableau excel de l'adn de complément si il pourrait en quelque sorte être plus rapide? par exemple vba excel s'exécute adn de complément qui envoie ensuite le recalcul de la feuille de commandes.
    • Il y a quelques récentes discussions sur le rendement et les résultats liés à Excel de l'ADN-ici: groups.google.com/group/exceldna/browse_frm/thread/.... Cela semble indiquer que l'appel de la feuille de calculer via COM via l'API C de ne pas faire une différence.
    • merci. re la discussion. Je viens de remarquer que les résultats de générer avec des Threads:=Vrai et multi-thread de calcul a abouti à des résultats incorrects. Je suppose que mon application n'est pas thread-safe après tout...
    InformationsquelleAutor Govert
  2. 1

    Son très inhabituel pour le multi-thread de calcul pour être plus lent qu'un seul thread de calcul.

    Sans doute vous avez mis en calcul Manuel.

    Êtes-vous à l'aide de la Feuille.Calculer sur chaque feuille "de calculer les feuilles de calcul dans la séquence"? Si oui, il serait probablement plus rapide de l'utilisation de l'Application.Calculer et laissez Excel automatiquement de travail de la façon la plus rapide de recalculer toutes les feuilles.

    • Salut Charles, j'ai lu vos blogs sur la vitesse de calcul et d'avoir une utilisation de votre travail dans le passé. Je vous remercie. Vous avez raison - j'ai de calcul manuel et le contrôle de l'ordre de calcul à partir de VBA; appel excel-adn de complément qui charge les données dans la première feuille, puis calc les plaques de façon séquentielle; sheets("Feuil2").calculer, sheets("Feuil3").calculer, etc. Veuillez voir mon edit au dessus qui donne un peu plus de détail.
    • Pourquoi pas parcourir toutes les feuilles de 4 à 10 en même temps?
    • Oui j'aimerais beaucoup que l'itération/calculer les feuilles de 4 à 10 en même temps (=en parallèle). Mais je ne suis pas au courant de comment cela est possible, à moins que je exécuter des instances distinctes de excel. Intéressé d'entendre d'une autre façon, si vous connaissez un ce serait vraiment aller à l'essentiel de ma question.
    • Soi - calc toutes les feuilles à l'aide de l'Application.Calculer (qui sera multi-thread), de coller des valeurs sur chacune des feuilles de 4 à 10, et répétez jusqu'à ce que toutes les feuilles ont convergé. Par ailleurs, dans le cas où vous êtes à l'aide de Gamme.Calculer la note qu'il n'est PAS multithread
    • j'aime bien ta suggestion, mais malheureusement le chargeur de feuilles (1-3) ont un peu de lourds calculs sur eux, y compris les formules volatiles, de sorte que chaque application.calculer sera touché par cette surcharge. Cela dit, vous avez donné quelques idées méritent d'être analysés plus loin et je pourrais voir si je peux contourner le problème de surcharge. re gamme.calculer; oui, j'ai lu que grâce (peut-être que je l'ai lu sur votre site) et dans la pratique c'est plus lent donc ont collé avec de la feuille de calcul.calculer. quel dommage, il n'en est rien; les feuilles de calcul(4-10).calculer!
    • alors, éteignez le chargeur de feuilles en définissant leur feuille de travail.enablecalculation à false
    • Je ne savais pas de cette fonction. Utile. Mes tests montrent cependant que l'utilisation de cet été encore beaucoup plus lent que l'original à thread unique feuille par feuille de version. La seule explication qui vient à l'esprit est qu'il est certain que les coûts lorsque je change de feuille de calcul.enablecalculation puis (pour les feuilles 1-3), avant et après chaque application.calculer cycle (=> le multi-thread calc de feuilles 4-10). Est-il possible que cette désactiver/activer l'action de causes excel dans une reconstruction du calcul de la carte?
    • Il semble que nous ae problèmes de communication: ma suggestion était de couper des feuilles de 1 à 3 et de réitérer tous les autres feuilles simultanément à l'aide de l'application.calculer jusqu'à ce qu'ils ont tous convergé vers, puis de passer SUR des feuilles 1-3
    • je crois que nous sommes sur la même longueur d'onde, mais peut-être que je n'ai pas d'expliquer complètement. J'ai une boucle externe, qui met les nouvelles données dans les feuilles 1-3 (via udf appelle déclenchée par le calcul de ces feuilles) et calcule ensuite la boucle interne (fiches de 4 à 10 itération et le recalcul). si la coupure de feuilles 1-3 une fois avant chaque boucle intérieure, et puis de nouveau à nouveau avant chaque boucle externe, peut-être des moyens généraux (?) - J'ai 11 millions de données de cycles à effectuer sur la boucle externe, donc c'est beaucoup de commutation. NB: certains de la fiche de 1-3 fonctions définies par l'utilisateur sont marqués volatile.

    InformationsquelleAutor Charles Williams