Effacer le cache du fichier à répéter les tests de performance

Quels sont les outils ou les techniques que j'utilise pour supprimer les fichiers mis en cache le contenu pour éviter que mes résultats de performance de biaisés? Je crois que j'ai besoin de soit tout à fait clair, ou supprimer les informations mises en cache du fichier et le contenu d'un répertoire.

L'application que je suis en développement est spécialisé utilitaire de compression, et devrait faire beaucoup de travail de lecture et d'écriture de fichiers que le système d'exploitation n'a pas touché récemment, et dont les blocs de disque sont peu susceptibles d'être mis en cache.

Je souhaite supprimer la variabilité je vois dans les IO de temps lorsque je le répète, la tâche de profilage des stratégies différentes pour faire le traitement d'un fichier de travail.

Je suis principalement intéressé par les solutions pour Windows XP, car c'est mon principal du développement de la machine, mais je peux également tester l'utilisation de linux, et je le suis aussi intéressé par les réponses pour l'environnement aussi.

J'ai essayé de SysInternals CacheSet, mais en cliquant sur "Effacer" ne risque pas d'entraîner une augmentation mesurable de (rétablissement du calendrier après un froid boot) dans le temps de re-lire les fichiers que je viens de lire quelques fois.

InformationsquelleAutor Stephen Denne | 2009-01-25
  1. 80

    Utilisation de Sysinternals de RAMMap app.

    Effacer le cache du fichier à répéter les tests de performance

    Le Vide /Vide la Liste d'Attente option de menu vous permet d'effacer le fichier Windows cache.

    • RAMMap ne fonctionne pas sur Windows XP. Ces options de menu faire quelque chose de différent à partir du bouton "Effacer" dans SysInternals Cacheset application?
    • cette technique a fonctionné parfaitement pour moi sous Windows 8! Windows XP est de 12 ans maintenant, une raison quelconque vous ne pouvez pas essayer cela sur Vista, Windows 7 ou Windows 8?
    • Je ne travaille plus avec ces limitations. Afin de "Vider la Liste d'Attente" des résultats dans la prochaine lecture à partir d'un lu récemment fichier nécessitant des e / s disque?
    • yep il a totalement fonctionné pour moi.
    • Appuyez sur F5 pour actualiser la liste de fichier après cliquant sur vider la liste d'attente
    • The Empty / Empty Standby List menu option will clear the Windows file cache. Comment le savez-vous? Comment faire le lien entre cet élément de menu et le disque-cache?
    • merci, c'est une valeur inestimable dans les tests de performance de disque pour certains, l'optimisation de l'algorithme, nous avons été d'essayer!
    • Pour une approche programmatique, de voir cette SI post: stackoverflow.com/a/23085045/430360
    • Merci! Cela a parfaitement fonctionné pour moi.

    InformationsquelleAutor smallest
  2. 14

    Pour Windows XP, vous devriez être en mesure d'effacer le cache pour un fichier spécifique en ouvrant le fichier à l'aide de CreateFile avec le FILE_FLAG_NO_BUFFERING options et la fermeture de la poignée. Ce n'est pas documenté, et je ne sais pas si cela fonctionne sur les versions ultérieures de Windows, mais j'ai utilisé ce il y a longtemps lors de la rédaction d'un code de test pour comparer la compression de fichiers des bibliothèques. Je ne me souviens pas si l'accès en lecture /écriture affectés à cette astuce.

    • Fonctionne parfaitement pour moi sous Windows 7 SP1 x64. Bon conseil!
    • De sorte que doit être répété pour le tous les fichiers? Donc, si par exemple, la copie d'un répertoire contenant 100 MO répartis sur 30 dossiers en 10 sous-répertoires, vous devez ouvrir chacun séparément à assurez-vous de lire le disque réel au lieu de la cache?
    • D'autres réponses sur le site d'affirmer cela fonctionne dans Win7 et 8 ainsi. Je présume qu'il fonctionne sur vista. Et oui, vous avez à exécuter sur chaque fichier, mais ça ne prend pas très longtemps. Tout ce que vous devez faire est de l'ouvrir et de fermer chaque fichier, et quand vous la fermez, Windows efface le cache. Après vous avez fait cela, ALORS vous exécutez votre test de performance.
    • C'était une réponse parfaite. Simple à code, efficace, et devrait fonctionner sur la plupart des Systèmes d'exploitation windows (y compris XP, je ne l'ai testé sur Win7x64). J'ai ouvert les fichiers avec les privilèges de lecture et pas de partage. Pas sûr de ce combo questions.
    • Une fonctionnalité similaire sur Linux (2.4.10 ensuite) avec l'indicateur O_DIRECT à l'air libre(2) syscall. Eh bien, plus précisément, de ce que je comprends, O_DIRECT ne pas vider le cache pour que le fichier, il essaie, il est préférable de le contourner.
    • C'est LA solution qui a fonctionné pour moi. Appelez CreateFile avec FILE_FLAG_NO_BUFFERING comme la deuxième à dernier paramètre, puis immédiatement à la fermeture du fichier. Ensuite ouvrez l'utilisation des API C++ de ifstream, qui est maintenant beaucoup plus lent en raison de l'absence de mise en cache.

    InformationsquelleAutor
  3. 14

    Une rapide recherche sur google donne à ces options pour Linux

    1. Démonter et monter la partition contenant les fichiers
    2. sync && echo 1 > /proc/sys/vm/drop_caches
    • Merci, ça a l'air très utile, bien que j'avais peut-être voulez faire écho à 3 au lieu de 1. Je suis principalement intéressé par Windows XP, c'est pourquoi je ne l'avais pas trouvé dans ma recherche sur google.
    • Malheureusement, l'environnement linux j'ai pu faire l'utilisation de ce a version du noyau 2.6.9. drop_caches a été ajouté dans le noyau 2.6.16
    • Beaucoup d'autres posts que j'ai lu suggèrent que vous pouvez le démonter et monter le système de fichiers pour supprimer tous les chached éléments pour elle, je suppose que c'était le cas avant 2.6.16 ainsi que en plus les noyaux récents.
    InformationsquelleAutor John Nilsson
  4. 5

    Un utilitaire de ligne de commande peut être trouvé ici

    à partir de la source:

    EmptyStandbyList.exe est un outil de ligne de commande pour Windows (Vista et
    ci-dessus) qui peuvent vider:

    • processus de travail fixe,
    • de la modification de la liste des pages,
    • la veille des listes de priorités de 0 à 7), ou
    • la priorité 0 liste d'attente uniquement.

    Utilisation:

    EmptyStandbyList.exe workingsets|modifiedpagelist|standbylist|priority0standbylist
    • Très sous-estimée réponse au milieu de tout le bruit, utilitaire simple qui ne fait qu'une job et le fait bien. Vous devriez probablement inclure davantage de détails dans la réponse à obtenir les upvotes que vous méritez.
    • mis à jour le texte de la source.
    • Nice outil de ligne de commande. Exactement ce dont j'avais besoin!
    InformationsquelleAutor Edwin van Mierlo
  5. 3

    J'ai trouvé une technique (autres que de redémarrer) qui semble fonctionner:

    1. Exécuter quelques exemplaires de MemAlloc
    2. Avec chacun, d'allouer de gros morceaux de mémoire quelques fois
    3. Utiliser Process Explorer pour observer le Système de Cache de taille de réduction à des niveaux très bas
    4. Quitter le MemAlloc programmes

    Il n'est pas sélectif si. Idéalement, je voudrais être en mesure d'effacer les parties spécifiques de mémoire utilisée pour la mise en cache du disque des blocs de fichiers que je veux plus être mis en cache.

    • J'utilise aussi MemAlloc - soft.tahionic.com/download-memalloc
    • Qui a pour effet de pousser des trucs dans le fichier d'échange qui va tuer la performance pour un certain temps par la suite. Si vous envisagez de recourir à une bidouille, alors vous pouvez tout simplement lire un autre fichier volumineux; à moins que n'efface le cache disque et rien d'autre.
    InformationsquelleAutor Stephen Denne
  6. 3
     #include <fcntl.h>

int posix_fadvise(int fd, off_t offset, off_t len, int advice);

    avec des conseils option POSIX_FADV_DONTNEED:

    Les données spécifiées ne seront pas accessibles dans un avenir proche.

    InformationsquelleAutor Mark
  7. 3

    Pour une bien meilleure vue de la Windows XP système de fichiers de Cache - essayez ATM par Tim Murgent - il vous permet de voir à la fois le système de fichiers du cache du Jeu de Travail de taille et de Veille de la taille de la Liste dans une vue plus détaillée et précise. Pour Windows XP vous devez l'ancienne version 1 de l'ATM, qui est disponible pour téléchargement ici depuis V2 et V3 exiger Server 2003,Vista ou supérieur.

    Vous pourrez observer que, bien que Sysinternals Cacheset permettra de réduire le "Cache WS Min" - les données réelles continue d'exister sous la forme de listes d'Attente, d'où il peut être utilisé jusqu'à ce qu'il a été remplacé par quelque chose d'autre. Puis remplacer avec quelque chose d'autre l'utilisation d'un outil tel que MemAlloc ou flushmem par le Tchad Austin ou Consume.exe à partir de la Windows Server 2003 Resource Kit Tools.

    • Que l'air fantastique.
    InformationsquelleAutor robertcollier4
  8. 0

    Que la question s'est aussi posée pour Linux, il n'y est une réponse similaire ici.

    L'outil de ligne de commande vmtouch vous permet d'ajouter et de supprimer des fichiers et répertoires à partir du cache du système de fichiers, entre autres choses.

    InformationsquelleAutor seeker
  9. 0

    Il y a un appel d'API de windows https://docs.microsoft.com/en-us/windows/desktop/api/memoryapi/nf-memoryapi-setsystemfilecachesize qui peut être utilisé pour vider le cache du système de fichiers. Il peut également être utilisé pour limiter la taille du cache à une valeur très faible. Est parfait pour ces sortes de tests.

    InformationsquelleAutor Geoff Johnson