Quel est le moyen le plus rapide pour cloner un dépôt git sur une connexion réseau rapide?

J'ai une situation relativement important dépôt git situé sur un vieux, lent hôte sur mon réseau local où il prend un certain temps pour faire le clone initial.

ravn@bamboo:~/git$ git clone gitosis@gitbox:git00
Initialized empty Git repository in /home/ravn/git/git00/.git/
remote: Counting objects: 89973, done.
remote: Compressing objects: 100% (26745/26745), done.
remote: Total 89973 (delta 50970), reused 85013 (delta 47798)
Receiving objects: 100% (89973/89973), 349.86 MiB | 2.25 MiB/s, done.
Resolving deltas: 100% (50970/50970), done.
Checking out files: 100% (11722/11722), done.
ravn@bamboo:~/git$

Il n'y a pas de git spécifiques des modifications de configuration de gitosis.

Est-il un moyen d'accélérer la réception des bits jusqu'à ce que le réseau est capable de?

EDIT: j'ai besoin de la de nouveaux référentiels pour être correctement connecté à l'amont du référentiel. Ma compréhension de ce besoin de git pour faire le clonage, et ainsi de bits brutes de la copie de l'extérieur de git ne fonctionnera pas.

and thus raw bit copying outside of git will not work - vous s'il vous plaît fournir le code source de cette demande? Il semble mal à m'
s'il vous plaît laissez-moi savoir comment faire raw d'un peu de copie et de l'avoir correctement liée à l'amont du référentiel de la même manière que le "git clone" commande.
Je vais vous trouver dans chat.stackoverflow.com/rooms/5151/... (chat) - je ne suis pas disponible à temps plein si
Ping, avez-vous trouvé c'chat? Ou avez-vous fait perdre de l'intérêt?
veuillez vous détendre. En amont système git n'est pas disponible pour moi les week-ends.
Je n'ai pas l'obtenir. Quelqu'un a même upvoted ce commentaire. Pour moi, c'est juste impoli de poser une question et recevoir une réponse, et pas même de répondre dans les 3 jours (sauf le renvoyer, lorsque vous y êtes invité). J'ai été franchement peur que le chat ne pourrait pas avoir travaillé. Je suppose que je ne suis pas inquiet plus.
Git 2.22 (T2 2019) fera git clone --depth=1 ... encore plus vite (62% plus rapide). Voir ma réponse ci-dessous.

InformationsquelleAutor Thorbjørn Ravn Andersen | 2011-11-18

28
PS. Fair warning:

git est généralement considéré comme extrêmement rapide. Vous devriez essayer de cloner une pleine repo de darcs, bazar, hg (à dieu ne plaise: TFS ou subversion...). Aussi, si vous régulièrement clone complet de repos à partir de zéro, vous auriez fait quelque chose de mal de toute façon. Vous pouvez toujours git remote update et d'obtenir des changements progressifs.

Pour diverses autres façons de garder plein repos dans synch voir, par exemple,
- "fetch --tous" dans un git dépôt nu ne pas synchroniser les branches locales de la distance
- Comment mettre à jour un git clone --miroir?
(La contenir des liens vers d'autres AFIN de postes)
Muet copie

Comme mentionné, vous pouvez simplement copier un référentiel avec des "dumb" transfert de fichier.

Ce ne sera certainement pas perdre du temps à la compression, à l'emballage, deltifying et/ou de filtrage.

Plus, vous aurez
- crochets
- config (télécommandes, pousser les branches, les paramètres (espaces, de fusion, les alias, les détails de l'utilisateur, etc.)
- caches _{^{(voir Puis-je aller chercher une cachette distance à partir d'un repo dans une succursale locale? aussi)}}
- rerere cache
- reflogs
- sauvegardes (à partir de filter-branch, par exemple) et diverses autres choses (état intermédiaire de rebase, traversent, etc.)
Cela peut ou peut pas être ce dont vous avez besoin, mais il est bon d'être conscient du fait

Bundle

Git clone par défaut optimise la bande passante. Depuis git clone, par défaut, ne pas miroir toutes les branches (voir --mirror), il ne serait pas logique de viens de vider le pack de fichiers que est (parce que vous envoyer éventuellement plus que nécessaire).

Lors de la distribution à un vraiment grand nombre de clients, envisager d'utiliser bundles.

Si vous voulez un rapide clone sans du côté serveur, le coût, la git façon est bundle create. Vous pouvez maintenant distribuer le bundle, sans le serveur, même en étant impliqué. Si vous voulez dire que bundle... --all comprend plus que de simples git clone, considérons par exemple bundle ... master pour réduire le volume.
```
git bundle create snapshot.bundle --all # (or mention specific ref names instead of --all)
```
et de distribuer l'instantané bundle à la place. C'est le meilleur des deux mondes, alors que bien sûr vous n'aurez pas à obtenir les éléments de la liste à puces ci-dessus. Sur l'extrémité de réception, juste
```
git clone snapshot.bundle myclonedir/
```
Compression configs

Vous pouvez regarder l'abaissement de la charge du serveur par la réduction/suppression de compression.
Jetez un oeil à ces paramètres de configuration (je suppose pack.compression peut vous aider à réduire la charge du serveur)

^{de base.la compression}

Un entier -1..9, indiquant un niveau de compression par défaut. -1 est la zlib par défaut. 0 signifie pas de compression, et 1..9 sont différentes vitesses/taille de compromis, 9 étant le plus lent. Si elle est définie, cela fournit une valeur par défaut à d'autres de compression variables, telles que
de base.loosecompression et pack.la compression.

^{de base.loosecompression}

Un entier -1..9, en indiquant le niveau de compression pour les objets qui ne sont pas dans un fichier de pack. -1 est la zlib par défaut. 0 signifie pas de compression, et 1..9 sont différentes vitesses/taille de compromis, 9 étant le plus lent. Si cela n'est pas, par défaut,
de base.la compression. Si c'est pas défini, la valeur par défaut est 1 (vitesse).

^{pack.la compression}

Un entier -1..9, en indiquant le niveau de compression pour des objets dans un fichier de pack. -1 est la zlib par défaut. 0 signifie pas de compression, et 1..9 sont différentes vitesses/taille de compromis, 9 étant le plus lent. Si cela n'est pas, par défaut de base.la compression. Si c'
n'est pas définie, -1 par défaut, la librairie zlib par défaut, qui est "un défaut de compromis entre la vitesse et la compression (actuellement équivalent au niveau 6)."

Noter que la modification du niveau de compression ne sera pas automatiquement recompresser tous les objets existants. Vous pouvez forcer la recompression en passant l'option-F pour git-repack(1).

Largement la bande passante du réseau, ce sera en fait, résultat plus rapide des clones. N'oubliez pas git-repack -F lorsque vous décidez de référence qui!
- Merci. J'aime le résultat de "git clone" - je veux juste savoir comment à la vitesse maximum. suggestions pour qui?
- pas sûr de ce que vous demandez. Mais permettez-moi d'ajouter que vous pouvez simplement cloner à partir de l'ensemble après que vous avez copié/postée autour de: git clone snapshot.bundle permet de cloner dans une nouvelle snapshot repo 🙂
- Je veux le réel processus de clonage pour arriver plus vite qu'il ne le fait aujourd'hui, et juste ça. C'est ce dont j'ai besoin, c'est juste plus lent qu'il peut être, et si il faut juste le réglage d'un paramètre, il serait agréable.
- Vous posez une question, vous êtes tenu d'obtenir les réponses à cela. Si vous pouvez accepter que vous obtenez des réponses que vous n'étiez pas en espérant qu'il serait bien (Vous pouvez rêver options de git clone, mais c'est pas ma faute qu'ils n'existent pas). J'ai mise à jour ma réponse avec plus d'informations de fond
- Ajouté encore plus d'infos
- J'ai écrit mes réflexions sur la question dans le chat: chat.stackoverflow.com/rooms/5151/...
InformationsquelleAutor sehe
24

Utiliser la profondeur pour créer un clone simple.
```
git clone --depth 1 <repository>
```
- Pour le local de repos: avertissement: --profondeur est ignoré dans les clones locaux; utiliser file:// au lieu de cela.. à l'Aide de file:// fatale: Impossible de créer le fichier temporaire '<repo>/shallow_cTG1x2': Permission denied
- Notez que ce n'est pas toujours plus vite, j'ai vu des référentiels peu profondes où le clonage est plus lent qu'un clone depuis git sur le serveur passe beaucoup de temps à essayer de comprendre ce qu'il faut envoyer.
InformationsquelleAutor northtree
4

Après avoir réalisé que la limite supérieure de la vitesse de transfert de données, est la connexion ssh qui est établi "à l'extérieur" de git, j'ai fait quelques expériences, et a constaté que la limite supérieure de l'utilisation de ppcp (Mastic scp) a été 3,0 MB/s comme le chiffrement blowfish régime a été bien choisi. Une expérience de contrôle de la matière première ftp a montré que la vitesse de transfert a été de 3,1 MO/s, donc il a indiqué que c'était la limite supérieure du réseau.

Cela s'exécute à l'intérieur d'un hyperviseur de vmware, et que le processus de faire des e/S réseau utilisé près de 100% de cpu, il a indiqué que le goulot d'étranglement est le Ubuntu pilote de carte réseau. J'ai alors constaté que même si les outils vmware ont été installés, pour une raison quelconque, le noyau utilise vlance conducteur (l'émulation d'un réseau 10 Mbits /s de la carte avec les IRQ et tout et tout) au lieu de la vmxnet pilote (qui parle directement à l'hyperviseur). C'est aujourd'hui en attente d'une fenêtre de service pour être changé.

En d'autres termes, le problème n'était pas avec git, mais le sous-jacent "matériel".

InformationsquelleAutor Thorbjørn Ravn Andersen
1

À partir du journal, il semble que vous avez déjà terminé le clone, si votre problème est que vous avez besoin de faire cette opération à plusieurs reprises sur des machines différentes, vous pouvez simplement copier le répertoire de dépôt d'une machine à l'autre. Cette façon de préserver la relation (télécommandes) entre chaque copie et le dépôt, vous cloné à partir d'.
- Je le fais très souvent, et je veux la cloné dépôts à être correctement connecté à l'amont du référentiel. Suis-je raison de supposer que ce besoin d'un clone et ne peut être fait avec une copie de fichier?
- Si, en amont, référentiel adresse est la même pour tous vos besoin de clones, alors vous pouvez simplement copier le référentiel.
- Oui, le copié dépôts sera exactement comme celui que vous aviez lorsque vous les avez copiés, y compris les modifications apportées à la configuration et à distance référentiel des liens (PAS y compris le global configuration git BTW, mais ne sera pas le clone). s'il vous plaît accepter ma réponse si cela vous a aidé...
- Votre réponse ne m'aide pas. J'ai besoin d'un rapide "git clone" pour une cible en mouvement.
- ok, une nouvelle direction, si la compression est le problème que j'ai thinj vous pouvez l'éviter en paramètre de compression=0 dans le fichier de configuration.section fondamentale. Pas sûr que cela affecte le transfert si.
- En déplaçant la cible vous dire que le référentiel est mis à jour tout le temps et que vous voulez les clones à être mis à jour? dans ce cas, vous pouvez déposer la copie de la dernière clone et il suffit de faire une extraction sur la nouvelle copie.
- Oui, le référentiel est mis à jour tout le temps et je veux que les clones pour en tenir compte. J'ai beaucoup de différentes tâches, pas tout ce que je peux contrôler, qui tous veulent faire leur propre "git clone". Donc j'ai besoin pour optimiser ce processus.
- ok, donc vous pouvez soit la copie de fichiers à partir de la dernière création de clone ou à partir d'un clone, qui est créée à l'heure ou à la journée et de le faire fetch --tous. juste à chercher les diff fera de vous configuré, mise à jour et devrait être plus rapide dans votre cas.
InformationsquelleAutor idanzalz
1

Je suis le bench-marking git clone.

Il peut être plus rapide avec --les travaux d'options si ce projet comprennent des submodules
ex:
```
git clone --recursive --shallow-submodules --depth 1 --branch "your tag or branch" --jobs 5 --  "your remote repo"
```
InformationsquelleAutor dwa.kang
0

La git clone --depth=1 ... proposé en 2014 deviendra plus rapide en Q2 2019 avec Git 2.22.

C'est parce que, lors d'une première "git clone --depth=..." partielle clone, il est
inutile de consacrer des cycles pour une grande partie de la connectivité
vérifiez que énumère et saute promettant des objets (qui, par définition, est de tous les objets récupérés à partir de l'autre côté).

Cela a été optimisé à.

clone: faire plus rapide de l'objet de vérifier partielle des clones

Partielle des clones, faire un plein contrôle de connectivité, c'est du gaspillage; nous ignorer
promettant des objets (qui, pour une partie du clone, est de tous les objets connus), et
l'énumération de tous afin de les exclure de la vérification de connectivité peut
prendre une quantité importante de temps sur les gros titres.

Au plus, nous voulons nous assurer que nous obtenons les objets visés par une
voulais réf.

Partielle des clones, il suffit de vérifier que ces objets ont été transférés.

Résultat:
```
  Test                          dfa33a2^         dfa33a2
  -------------------------------------------------------------------------
  5600.2: clone without blobs   18.41(22.72+1.09)   6.83(11.65+0.50) -62.9%
  5600.3: checkout of result    1.82(3.24+0.26)     1.84(3.24+0.26) +1.1%
```
62% plus rapide!

InformationsquelleAutor VonC

Vous devez vous connecter pour publier un commentaire.

Muet copie

Bundle

Compression configs

de base.la compression

de base.loosecompression

pack.la compression

clone: faire plus rapide de l'objet de vérifier partielle des clones

^{de base.la compression}

^{de base.loosecompression}

^{pack.la compression}

`clone`: faire plus rapide de l'objet de vérifier partielle des clones