Pourquoi copier un répertoire avec Ansible-elle si lente?

Je suis en utilisant Ansible pour copier un répertoire (900 fichiers, 136MBytes) à partir d'un hôte à un autre:

---
- name: copy a directory
  copy: src={{some_directory}} dest={{remote_directory}}

Cette opération a un incroyable 17 minutes, alors qu'un simple scp -r <src> <dest> prend seulement 7 secondes.

J'ai essayé le mode Accéléré, qui, selon le ansible docs "peut être n'importe où à partir de 2-6x plus rapide que SSH avec ControlPersist activé, et 10x plus rapide que paramiko.", mais en vain.

Je suis conscient que ce n'est un hachage MD5 et le valide, mais que le temps vous voyez permettrait de voir très grand.
fonctionne sha1, en fait, et qui n'est pas responsable (même si c'était ma première estimation).

InformationsquelleAutor dokaspar | 2015-01-16

ansible scp

85

TLDR: utilisation synchronize au lieu de copy.

Voici la copy de commande que j'utilise:
```
- copy: src=testdata dest=/tmp/testdata/
```
Comme une supposition, je suppose que les opérations de synchronisation sont lents. Le les fichiers de documentation du module implique cette trop:

La "copie" du module de copie de façon récursive n'est pas à l'échelle des lots (>des centaines) de fichiers. Pour les alternatives, voir synchroniser le module, qui est un wrapper autour de rsync.

Creuser dans le code source montre chaque dossier est traité avec SHA1. C'est mis en œuvre à l'aide de hashlib.sha1. Un test local implique que ne prend que 10 secondes pour 900 fichiers (qui arrive de prendre de 400 mo d'espace).

Donc, la prochaine avenue. La copie est traitée avec module_utils/basic.py's atomic_move méthode. Je ne suis pas sûr si elle est accélérée permet de mode (c'est un la plupart fonctionnalité obsolète), mais j'ai essayé le pipelining, mettre ceci dans un local ansible.cfg:
```
[ssh_connection]
pipelining=True
```
Il n'a pas apparaissent à l'aide; mon échantillon a 24 minutes . Il y a évidemment une boucle qui vérifie un fichier, télécharge, fixe les autorisations, puis se met sur le fichier suivant. C'est beaucoup de commandes, même si la connexion ssh est laissé ouvert. En lisant entre les lignes, il fait un peu de sens - le "transfert de fichiers" ne peut pas être fait dans le pipelining, je pense.

Donc, à la suite de l'astuce pour utiliser le synchronize commande:
```
- synchronize: src=testdata dest=/tmp/testdata/
```
Qui a eu 18 secondes, même avec pipeline=False. Clairement, le synchronize de commande est le chemin à parcourir dans ce cas.

Garder à l'esprit synchronize utilise rsync, qui, par défaut, le mod-le temps et la taille du fichier. Si vous voulez ou avez besoin de somme de contrôle, ajouter checksum=True à la commande. Même avec la somme de contrôle est activé, le temps n'a pas vraiment changer encore de 15 à 18 secondes. J'ai vérifié l'option de contrôle était en cours d'exécution ansible-playbook avec -vvvv, qui peut être vu ici:
```
ok: [testhost] => {"changed": false, "cmd": "rsync --delay-updates -FF --compress --checksum --archive --rsh 'ssh  -o StrictHostKeyChecking=no' --out-format='<<CHANGED>>%i %n%L' \"testdata\" \"user@testhost:/tmp/testdata/\"", "msg": "", "rc": 0, "stdout_lines": []}
```
- Réponse impressionnante.
- Est-il aucun moyen pour le module de copie pour être plus rapide? Cela semble être un bug de copie pour qu'il soit si lent?
- Avez-vous lu la réponse? Il y a des façons.
- Une fois que vous avez mis à synchronize sur copy, vous aurez besoin de spécifier rsync_opts si vous utiliser rsync/ssh avec les différents ports/utilisateurs/configs: hairycode.org/2016/02/22/...
- Que faire si je veux copier un répertoire en local, c'est à dire, à l'aide de la copy module de réglage remote_src: yes? Il est probable que synchronize ne peut pas être utilisé dans cette situation.
- Vous méritez un verre mate, Belle réponse
- C'est le chemin à parcourir!! Réduit mon temps à envoyer sur mon vim fichiers de configuration utilisateur et de couleurs à partir de 175 et 157 secondes à 0,19 s et 0,17 s (testé avec profile_tasks de rappel). Je ne peux pas croire combien de MINUTES j'ai passé à regarder cette chose jusqu'à ce que nous avons mis en place cette. REMARQUE: Il peut être utile de charger un fichier de tâche définie par l'utilisateur et les autorisations de groupe après l'opération de synchronisation est effectuée (utilisateur/groupe fonctionnalité n'est pas utile pour synchroniser le module).
InformationsquelleAutor tedder42
9

synchronize configuration peut être difficile dans des environnements avec become_user. Pour les déploiements vous pouvez archiver le répertoire source et le copier avec unarchive module:
```
- name: copy a directory
  unarchive:
    src: some_directory.tar.gz
    dest: {{remote_directory}}
    creates: {{remote_directory}}/indicator_file
```
- Et comment archiver le répertoire local? archive semble appuyer uniquement à distance des dossiers.
- Cette réponse n'est pas adaptée pour maintenir un répertoire distant en synchronisation avec l'évolution locale. Il suppose que la version locale est une sorte de immuable de l'image, qui doit être déployé qu'une seule fois. Dans ce cas, on peut l'archiver avec tar -cvpzf , puis mettre de l'archive résultante dans files/ sous-dossier d'un playbook et ensuite utiliser unarchive module pour un déploiement plus rapide, plus rapide que scp dans la question.
- Je sais, merci. La synchronisation et immuable remplacements sont deux choses différentes et il m'arrive de besoin de celui-ci. Pour l'intérêt des lecteurs potentiels, j'ai résolu le problème avec archive en utilisant delegate_to.
InformationsquelleAutor void
2

Meilleure solution que j'ai trouvé est juste zip le dossier et utiliser la unarchive module.

450 MO dossier terminé en 1 minute.
```
unarchive:
   src: /home/user/folder1.tar.gz
   dest: /opt
```
- ... et où est la différence pour la réponse par @vide?
InformationsquelleAutor Rinu K V
0

Tout synchronize est plus préférable dans ce cas que copy, il est cuit par rsync. Cela signifie que les inconvénients de rsync (architecture client-serveur) sont restés ainsi: le CPU et le disque limites, lent à la file delta calculs pour les gros fichiers, etc. Sons, comme pour vous, la vitesse est critique, alors je vous suggère de regarder pour une solution basée sur les réseaux peer-to-peer, de l'architecture, qui est rapide et adaptable à de nombreuses machines. Quelque chose comme BitTorrent basé sur, Resilio Connecter.
- Syncthing semble également être une bonne solution.
InformationsquelleAutor

Vous devez vous connecter pour publier un commentaire.