Rapide commande unix pour afficher des lignes spécifiques dans le milieu d'un fichier?

Essayez de déboguer un problème avec un serveur et mon seul fichier journal est un journal de 20 go fichier (sans les horodatages même! Pourquoi les gens utilisent System.out.println() que l'exploitation forestière? Dans la production?!)

À l'aide de grep, j'ai trouvé une zone du fichier que j'aimerais prendre un coup d'oeil, ligne 347340107.

Autre que de faire quelque chose comme

head -<$LINENUM + 10> filename | tail -20

... qui nécessiterait head de lire le premier 347 millions de lignes du fichier de log, il est facile et rapide de la commande qui permette de vidage de lignes 347340100 - 347340200 (par exemple) à la console?

mise à jour j'ai totalement oublié que grep pouvez imprimer le contexte autour d'un match ... cela fonctionne bien. Merci!

InformationsquelleAutor matt b | 2008-10-10
  1. 68

    avec GNU grep vous pourrait simplement dire 

    grep --context=10 ...
    • Ou plus précisément de 10 lignes avant: grep -B 10 ... Ou 10 lignes après: grep -10 ...
    • Cette commande ne fonctionne pas, ci-dessous sed-n '<démarrer>,<fin>p' est de travail
    • C'est en fait pas ce que vous voulez, car il permettra de traiter l'ensemble du fichier, même si le match est dans le top de bit. À ce stade, un/de la tête et la queue de la tête de liste déroulante est beaucoup plus efficace.
    • Cela ne répond pas à la question posée à tous que ce n'est pas un moyen de sortie spécifique ligne, comme l'a demandé.
    • Pas la bonne réponse.
    InformationsquelleAutor
  2. 361

    J'ai trouvé deux autres solutions si vous connaissez le numéro de la ligne, mais rien d'autre (pas de grep possible):

    Si vous avez besoin de lignes de 20 à 40 ans,

    sed -n '20,40p;41q' file_name

    ou 

    awk 'FNR>=20 && FNR<=40' file_name
    • +1: Bien que vous pourriez quitter après l'impression. Peut offrir certains avantages de performance si le fichier est vraiment énorme.
    • awk 'NR>=20 && NR<=40' nom_fichier
    • sed -n '20,40 p;41q' nom_fichier pour quitter ensuite.
    • plus précisément, ce sont ceux de début et de fin des numéros de ligne. Si vous êtes dans un gros fichier, il sera "12345678,12345699 p'
    • En plus de @CodeAbominator commentaire 41q instruire sed à quitter à la ligne 41.
    InformationsquelleAutor Sklivvz
  3. 101
    # print line number 52
sed -n '52p' # method 1
sed '52!d' # method 2
sed '52q;d' # method 3,  efficient on large files

    méthode 3 efficace sur les gros fichiers

    moyen le plus rapide pour l'affichage des lignes spécifiques

    • J'essaie de comprendre comment adapter la méthode 3 pour utiliser une plage au lieu d'une seule ligne, mais j'ai peur que mon sed-foo n'est pas à la hauteur de la tâche.
    • Que diriez-sed -n 'de 1 500 p;501q' pour l'impression 1-500 ?
    • Voir aussi stackoverflow.com/a/191440/7154924
    • La raison pour laquelle les deux premières lignes, les méthodes sont moins efficaces, c'est qu'ils continuent de traitement de toutes les lignes après la Ligne 52, jusqu'à la fin, alors que le n ° 3 s'arrête après l'impression de la Ligne 52.
    InformationsquelleAutor WCC
  4. 23

    Pas il n'y en a pas, les fichiers ne sont pas de ligne adressable.

    Il n'existe pas de constante de temps moyen pour trouver le début de la ligne n dans un fichier texte. Vous devez flux à travers le fichier de comptage et des retours à la ligne.

    Utilisation les plus simples et les plus rapides de l'outil que vous avez à faire le travail. Pour moi, à l'aide de head fait beaucoup plus de sens que grep, puisque ce dernier est beaucoup plus compliqué. Je ne dis pas "grep est lent", il n'est vraiment pas, mais je serais surpris si c'est plus rapide que head pour ce cas. Ce serait un bug dans head, dans le fond.

    • Vous avez raison; il n'y a pas de raccourci.
    • À moins que les lignes sont de largeur fixe en octets, vous ne savez pas où pour déplacer le pointeur de fichier sans compter les caractères de nouvelle ligne à partir du début du fichier.
    • Ce n'est pas de fournir une réponse à la question. À la critique ou à la demande de clarification d'un auteur, de laisser un commentaire en dessous de leur poste.
    • Vous avez raison. Je l'ai réécrit. Sept-ans-il y a moi s'est fâché. 🙂
    InformationsquelleAutor unwind
  5. 19

    Ce sujet:

    tail -n +347340107 filename | head -n 100

    Je n'ai pas tester, mais je pense que ce serait le travail.

    • Non, normalement queue a une limite de 256 dernier kilo-octets ou similaires, en fonction de la version et de l'OS.
    InformationsquelleAutor itsmatt
  6. 12

    Je préfère aller juste en less et

    • tapant 50% pour goto à mi-chemin du fichier,
    • 43210G pour aller à la ligne 43210
    • :43210 à faire de même

    et des trucs comme ça.

    Encore mieux: appuyez sur v pour commencer le montage (dans vim, bien sûr!), à cet emplacement. Maintenant, notez que vim a les mêmes raccourcis clavier!

    InformationsquelleAutor sehe
  7. 12

    J'aimerais tout d'abord diviser le fichier en plusieurs plus petits comme ce

    $ split --lines=50000 /path/to/large/file /path/to/output/file/prefix

    et puis un grep sur des fichiers résultants.

    • d'accord, briser ce journal et de créer une tâche cron pour le faire correctement. utilisation logrotate ou quelque chose de similaire pour les empêcher de se tellement énorme.
    InformationsquelleAutor Luka Marinko
  8. 8

    Vous pouvez utiliser le ex de commande, un standard de l'éditeur Unix (partie de Vim maintenant), par exemple

    • afficher sur une seule ligne (par exemple, 2ème):

      ex +2p -scq file.txt

      correspondant sed syntaxe: sed -n '2p' file.txt

    • gamme de lignes (par exemple de 2 à 5 lignes):

      ex +2,5p -scq file.txt

      sed syntaxe: sed -n '2,5p' file.txt

    • de la ligne jusqu'à la fin (par exemple, de la 5e à la fin du fichier):

      ex +5,p -scq file.txt

      sed syntaxe: sed -n '2,$p' file.txt

    • ligne multiples gammes (par exemple, 2-4 et 6-8 lignes):

      ex +2,4p +6,8p -scq file.txt

      sed syntaxe: sed -n '2,4p;6,8p' file.txt

    Commandes ci-dessus peuvent être testés avec le test suivant fichier:

    seq 1 20 > file.txt

    Explication:

    • + ou -c suivie par la commande exécuter le vi/vim) de commande après le fichier a été lu,
    • -s - mode silencieux, utilise également le terminal actuel comme une sortie par défaut,
    • q suivie par -c est la commande pour quitter l'éditeur (ajouter ! de faire de quitter de force, par exemple -scq!).
    InformationsquelleAutor kenorb
  9. 5

    Obtenir ack

    ack-lignes=début-fin de nom de fichier

    • Cela, me semble que la commande avec la plus intuitive de la syntaxe de toutes les réponses ici.
    InformationsquelleAutor Odeyin
  10. 4

    sed aurez besoin de lire les données trop pour compter les lignes.
    La seule manière d'un raccourci serait possible d'y aurait-il à contexte/de la commande dans le fichier à utiliser. Par exemple, si il y avait des lignes de log préfixé fixe la largeur de l'heure/date etc.
    vous pouvez utiliser le look utilitaire unix binaire de recherche sur les fichiers pour les dates/heures

    InformationsquelleAutor pixelbeat
  11. 4

    Si votre numéro de ligne est de 100 à lire 

    head -100 filename | tail -1
    InformationsquelleAutor Roopa
  12. 3

    Utilisation

    x=`cat -n <file> | grep <match> | awk '{print $1}'`

    Ici, vous obtiendrez le numéro de la ligne où le match s'est produite.

    Maintenant, vous pouvez utiliser la commande suivante pour imprimer 100 lignes

    awk -v var="$x" 'NR>=var && NR<=var+100{print}' <file>

    ou vous pouvez utiliser "sed" ainsi

    sed -n "${x},${x+100}p" <file>
    • Si vous avez plus d'un match, utilisez : "awk 'NR==1{print $1}" pour le premier match et ainsi de suite
    InformationsquelleAutor Ramana Reddy
  13. 2

    Avec sed -e '1,N d; M q' vous pourrez imprimer les lignes N+1 par l'intermédiaire de M. C'est sans doute un peu mieux alors grep -C comme il n'a pas essayer de faire correspondre les lignes d'un modèle.

    • -e est facultatif ici.
    InformationsquelleAutor mweerden
  14. 2

    Bâtiment sur Sklivvz réponse, voilà une belle fonction, on peut mettre dans un .bash_aliases fichier. Il est efficace sur les gros fichiers lors de l'impression des trucs à partir de l'avant du fichier.

    function middle()
{
    startidx=$1
    len=$2
    endidx=$(($startidx+$len))
    filename=$3

    awk "FNR>=${startidx} && FNR<=${endidx} { print NR\" \"\$0 }; FNR>${endidx} { print \"END HERE\"; exit }" $filename
}
    InformationsquelleAutor Keithel
  15. 1

    Pour afficher une ligne à partir d'un <textfile> par son <line#>, il suffit de faire ceci:

    perl -wne 'print if $. == <line#>' <textfile>

    Si vous voulez un moyen plus puissant pour afficher une plage de lignes avec des expressions régulières -- je ne dirai pas pourquoi la commande grep est une mauvaise idée pour ce faire, il devrait être assez évident-cette expression simple va vous montrer votre gamme en un seul passage, qui est ce que vous voulez lorsque vous traitez avec ~20 go de fichiers texte:

    perl -wne 'print if m/<regex1>/.. m/<regex2>/' <filename>

    (astuce: si votre regex a /, utilisez quelque chose comme m!<regex>! à la place)

    Ce serait d'imprimer <filename> commence avec la ligne qui correspond à <regex1>, jusqu'à (et y compris) la ligne qui correspond à <regex2>.

    Il ne prend pas un assistant de voir comment quelques modifications pour le rendre encore plus puissant.

    Dernière chose: perl, car c'est une langue matures, a beaucoup de caché améliorations pour favoriser la vitesse et la performance. Avec cela à l'esprit, il est le choix évident pour une telle opération car il a été initialement développé pour le traitement de gros fichiers journaux, textes, bases de données, etc.

    • Je pense que c'est PLUS compliqué de réponse...
    • vraiment, il ne semble pas de cette façon pour moi, depuis quand est en cours d'exécution d'une commande perl plus compliqué que de dire, en cours d'exécution 2+ programmes reliées ensemble (en bas de la page), et, je pense que vous êtes en train de dire, parce que j'ai tapé plus d'une explication qui a exigé de vous LIRE, car il y a aussi complexe (ou plus) en bas de la page qui n'a pas obtenir soufflé hors de l'eau... sheesh
    • Notez que l'utilisateur a demandé une gamme de lignes-votre exemple peut être trivialement adapté si.
    InformationsquelleAutor osirisgothra
  16. 0

    Vous pouvez essayer cette commande: 

    egrep -n "*" <filename> | egrep "<line number>"
    InformationsquelleAutor Fritz Dodoo
  17. 0

    Facile avec perl! Si vous souhaitez obtenir des lignes 1, 3 et 5 à partir d'un fichier, par exemple /etc/passwd:

    perl -e 'while(<>){if(++$l~~[1,3,5]){print}}' < /etc/passwd
    • Vous dites que c'est facile avec awk, mais vous l'avez fait en perl au lieu de cela?
    InformationsquelleAutor dagelf
  18. 0

    Je suis surpris qu'un seul autre réponse (par Ramana Reddy) a proposé d'ajouter des numéros de ligne à la sortie. Les recherches suivantes sont nécessaires pour le numéro de ligne et de couleurs de la sortie.

    file=FILE
lineno=LINENO
wb="107"; bf="30;1"; rb="101"; yb="103"
cat -n ${file} | { GREP_COLORS="se=${wb};${bf}:cx=${wb};${bf}:ms=${rb};${bf}:sl=${yb};${bf}" grep --color -C 10 "^[[:space:]]\\+${lineno}[[:space:]]"; }
    • Les réponses avec le code seulement ont tendance à obtenir marqués pour suppression. Pourriez-vous ajouter quelques commentaires autour de la façon dont cela résout le problème?
    InformationsquelleAutor eel ghEEz