Lire un fichier à partir du serveur SSH à l'aide de Python

Je suis en train de lire un fichier à partir d'un serveur à l'aide de SSH à partir de Python. Je suis à l'aide de Paramiko pour vous connecter. Je peux me connecter au serveur et exécuter une commande comme cat filename et récupérer les données à partir du serveur, mais certains fichiers, je suis en train de lire sont autour de 1 GO ou plus en taille.

Comment puis-je lire le fichier sur le serveur, ligne par ligne à l'aide de Python?

Informations supplémentaires: Ce qui est régulièrement faire est d'exécuter un cat filename de commande et de stocker le résultat dans une variable et le travail de ça. Mais depuis le fichier est assez gros, je suis à la recherche d'un moyen de lire un fichier ligne par ligne sur le serveur.

EDIT: je peux lire un tas de données et de le diviser en lignes, mais le problème est que les données reçues dans la mémoire tampon ne comprend pas toujours les lignes complètes. Par exemple, si la mémoire tampon a 300 lignes, la dernière ligne ne peuvent être la moitié de la ligne sur le serveur et le prochain demi serait récupéré dans le prochain appel au serveur. Je veux lignes complètes

EDIT 2: quelle commande dois-je utiliser pour imprimer les lignes dans un fichier dans une certaine plage. Comme l'impression 100 premières lignes, puis le côté 100 et ainsi de suite? De cette façon, le tampon sera toujours contenir des lignes complètes.

Alors, êtes-vous de lire ligne par ligne parce que vous ne voulez pas mettre les données dans un script shell variable? Sur l'extrémité de la variable get set? Le local de la fin? Est-il important de traiter d'une ligne sur la proximité de la fin avant de lire le prochain sur le fond?

InformationsquelleAutor randomThought | 2009-10-20

58

Paramiko de SFTPClient de la classe vous permet d'obtenir un fichier objet en forme pour lire des données à distance à partir d'un fichier dans un Pythonic façon.

En supposant que vous avez ouvert un SSHClient:
```
sftp_client = ssh_client.open_sftp()
remote_file = sftp_client.open('remote_filename')
try:
    for line in remote_file:
        # process line
finally:
    remote_file.close()
```
- +1, BIEN mieux que de jouer avec le chat (pour tout ce que j'aime les chats!-).
- Dans mon cas, le contenu du fichier est une des données json dans une seule ligne (qui je veux faire json.charger et stocker dans une variable). La taille de ce fichier est de ~200 MO. Lorsque je tente de lire la ligne en remote_file, il ne revient jamais, c'est juste coincé. Quelqu'un peut-il m'aider?
InformationsquelleAutor Matt Good
10

Voici une extension pour @Matt Bonne réponse:
```
from contextlib     import closing
from fabric.network import connect

with closing(connect(user, host, port)) as ssh, \
     closing(ssh.open_sftp()) as sftp, \
     closing(sftp.open('remote_filename')) as file:
    for line in file:
        process(line)
```
- Je n'ai jamais vu contextlib.fermeture avant. Si cette option vous permet d'activer quoi que ce soit avec une méthode close() dans un Gestionnaire de Contexte-comme chose, malgré le fait qu'elle ne peut pas avoir __enter__ et __ _ _ exit__?
- Oui. N'importe quel objet avec .close() méthode permettra de le faire. La mise en œuvre de closing est trivial, voir svn.python.org/view/python/trunk/Lib/contextlib.py?view=markup
- En fait with sftp.open('remote_filename') as f: également de travailler
- cela peut dépendre des bibliothèques spécifiques versions (versions plus récentes faire l' closing() appels inutiles).
InformationsquelleAutor jfs

#!/usr/bin/env python
import paramiko
import select
client = paramiko.SSHClient()
client.load_system_host_keys()
client.connect('yourhost.com')
transport = client.get_transport()
channel = transport.open_session()
channel.exec_command("cat /path/to/your/file")
while True:
  rl, wl, xl = select.select([channel],[],[],0.0)
  if len(rl) > 0:
      # Must be stdout
      print channel.recv(1024)

Bon exemple de paramiko, mais souligne à nouveau la non-ligne axés sur la nature de ce genre de tâche.
Il suffit de garder la lecture jusqu'à ce que vous obtenez un retour à la ligne ou d'une autre-caractère de terminaison.

InformationsquelleAutor g33kz0r

4

Qu'entendez-vous par "ligne par ligne" - il y a beaucoup de tampons de données entre les hôtes du réseau, et aucun d'entre eux sont en ligne axée sur les résultats.

De sorte que vous pouvez lire un tas de données, puis de le diviser en lignes à la fin proche.
```
ssh otherhost cat somefile | python process_standard_input.py | do_process_locally
```
Ou vous pouvez avoir un processus de lire un tas de données à l'extrême fin, le briser, et format ligne par ligne et l'envoyer à vous.
```
scp process_standard_input.py otherhost
ssh otherhost python process_standard_input.py somefile |  do_process_locally
```
La seule différence je ce moyen permet de réduire le volume de données dans un réseau de tuyaux. Dans votre situation, il peut, ou ne peut pas d'importance.

Il n'y a rien de mal en général avec l'aide de cat sur un SSH pipe pour déplacer des gigaoctets de données.

InformationsquelleAutor Joe Koberg

Vous devez vous connecter pour publier un commentaire.