Quelle est la meilleure pratique pour la mise en forme de logs?

Je suis en train d'écrire un morceau de pot de miel logiciel qui vous ont exploitation extensive des interactions avec elle, j'ai l'intention de journal en clair .log fichiers.

J'ai deux questions, de quelqu'un qui n'est pas trop familier avec la façon dont les serveurs journal.

  1. Tout d'abord, comment dois-je rompre mon journal de fichiers, je suis en supposant qu'après l'exécution de la présente pendant un mois, je ne veux pas un gros .log fichier, puis-je faire par jour, mois, année? Est-il une norme pour elle?

  2. Le format de chaque ligne, puis-je avoir un standard délimiteur qui que ce soit, *, -, +, quoi que ce soit? Est-il un standard de n'importe où (à mes recherches sur google n'a pas apporté beaucoup)?

InformationsquelleAutor Andy Smith | 2009-11-19
  1. 29

    J'aime ce format pour les fichiers journaux:

    $ python simple_logging_module.py
2005-03-19 15:10:26,618 - simple_example - DEBUG - debug message
2005-03-19 15:10:26,620 - simple_example - INFO - info message
2005-03-19 15:10:26,695 - simple_example - WARNING - warn message
2005-03-19 15:10:26,697 - simple_example - ERROR - error message
2005-03-19 15:10:26,773 - simple_example - CRITICAL - critical message

    C'est à partir de python module de journalisation.
    D'habitude, j'ai un fichier par jour, un dossier pour chaque mois, un dossier pour chaque année. Vous obtiendrez d'énormes fichiers journaux que vous ne pouvez pas éditer correctement sinon.

    logs/
  2009/
    January/
     01012009.log
     02012009.log
     ...
    February/
     ...
  2008/
   ...
    • J'aime bien, je DÉTESTE absolument les fichiers journaux qui n'ont pas de date/heure.
    • Pour une raison que je ne pouvais pas faire le lien sur "module de journalisation" travail en sélectionnant le texte et en utilisant l'icône de lien. Bug dans l'URL générateur de code?
    • Le lien dans la réponse originale à cette question travaillait avant ton edit, en fait. J'ai cliqué sur elle, et elle a le Python de journalisation site web.
    • Oui, je ne sais pas ce qui s'est passé il peut être <pre> tag qui est source de confusion ou quelque chose.
    • En ce qui concerne le faire en Java, je suis à la recherche d'java.util.la journalisation.Enregistreur, il enregistre dans un format XML cependant, serait-il préférable de s'en tenir à des lignes ou à quitter le XML?
    • Vous devez utiliser log4j (logging.apache.org) si vous êtes à l'aide de Java. C'est un moyen plus souple de la journalisation de l'utilitaire, il y a un bon tutoriel ici (laliluna.de/log4j-tutorial.html). Si vous avez besoin d'analyser et de recherche les données XML peut être préférable ou vous pouvez même essayer les véhicules à immatriculation multilatérale de la suggestion pour vous connecter à une base de données.
    • Fixe votre lien manquant.
    • C'est un vieux post, mais il vient vers le haut lors de la recherche pour les meilleures pratiques en matière d'exploitation forestière. J'ai trouvé cette ressource qui, je pense, s'ajoute également à la discussion: reflectoring.io/enregistrement-format. Recommander la discussion autour de séparateurs et aussi comme l'utilisateur réflexions sur le contenu et la structure d'un journal.
    • Pour ce que ça vaut, 10 ans, je pense qu'structuré de journalisation est le chemin à parcourir. par exemple, structlog.org/en/stable ou brandur.org/logfmt

    InformationsquelleAutor Pierre-Antoine LaFayette
  2. 19

    Il n'y a pas de norme pour un tel enregistrement. Et laminage, de la mise en page des fichiers, tout dépend de ce que vous avez besoin. En général, j'ai affronté 3 scénarios principaux:

    • Tous dans un fichier. Ne semble pas une option pour vous.
    • Taille fixe roulant. Vous définissez la taille lors d'un nouveau fichier journal est créé une fois le fichier actuel est plus grand que la valeur définie. Habituellement, il ya soutien de la boîte pour ce dans la plupart des log4anything paquets.
    • Personnalisé Total roulant. J'ai vu des mises en page comme ceci
      • Chaque jour arrive c'est le propre répertoire nommé dans le format de YYYYMMDD. Si vous n'avez pas de scène de vos journaux de considérer la disposition des répertoires YYYY\MM\AAAAMMJJ comme indiqué dans d'autres réponses.
      • À l'intérieur de ce répertoire taille fixe roulant doit être utilisé.
      • Chaque fichier a un nom logfile_yyyymmdd_ccc.log où ccc est en nombre croissant. Ajout du temps de nom de fichier est également une bonne idée (par exemple. facilement juger de la façon dont de nombreux journaux par minute de la production)
      • Pour économiser de l'espace tous les journaux est compressé avec zip automatiquement.
      • 3 derniers jours sont toujours conservés non compressés, donc vous pouvez avoir un accès rapide à UNIX des outils de texte.

    Cette coutume ressemblait à celui-ci

    logs/
20090101/
logfile_20090101_001.zip 
logfile_20090101_002.zip 
... 
20090102/
logfile_20090102_001.zip 
logfile_20090102_002.zip 
logfile_20090101_001.journal 
logfile_20090101_002.journal 
logfile_20090102_001.journal 
logfile_20090102_002.journal

    Il existe également des tas de bonnes pratiques en matière d'exploitation forestière:

    • Toujours garder la date dans votre journal de nom de fichier
    • Toujours ajouter un peu de nom pour votre fichier de log nom. Il vous aidera dans l'avenir, de distinguer les fichiers journaux à partir de différentes instances de votre système.
    • Toujours journal de l'heure et de la date (de préférence jusqu'à millisecondes résolution) pour chaque événement de journal.
    • Toujours stocker votre date AAAAMMJJ. Partout. Dans nom de fichier, à l'intérieur du fichier de log. Il aide beaucoup dans le tri. Certains séparateurs sont autorisés (par exemple. 2009-11-29).
    • En général éviter de stocker les logs dans la base de données. En est un autre point de défaillance dans votre schéma de journalisation.
    • Si vous avez multithread système toujours vous connecter identifiant du thread.
    • Si vous avez de multiples processus de système de log id de processus.
    • Si vous possédez plusieurs ordinateurs toujours journal de l'id de l'ordinateur.
    • Assurez-vous que vous pouvez les journaux de processus plus tard. Juste essayer d'importer un fichier journal dans la base de données ou Excel. Si elle prend plus de 30 secondes, cela signifie que votre enregistrement est mauvais. Cela comprend:
      • Le choix du bon format interne de l'exploitation forestière. Je préfère espace delimeted car il fonctionne de nice avec Unix outils de texte et avec Excel.
      • Le choix du bon format de date/temps de sorte que vous pouvez facilement importer dans certains SQL databse ou Excel pour plus de proccesing.
    InformationsquelleAutor Michal Sznajder
  3. 2

    De briser vos fichiers journaux, vous pouvez utiliser une application externe, comme logrotate et laisser prendre soins de la sale besogne.

    Comme pour le format de chaque ligne, il n'y a pas de standard, de sorte que vous devrait utiliser ce qui fonctionne le mieux pour vous. Si vous allez à analyser automatiquement le fichier journal plus tard, alors vous voudrez peut-être garder à l'esprit que vous le format de la sortie du journal.

    • logrotate ou un logiciel similaire est certainement le chemin à parcourir. Il conserve toute la complexité de la séparation d'un journal dans plusieurs fichiers dans son propre module (logrotate), donc vous pouvez garder votre application plus simple. Et logrotate est très configurable, donc il va le faire de quelque façon que vous voulez.
    InformationsquelleAutor Jeff
  4. 2

    Je vous recommande d'utiliser un bien connu bibliothèque de journalisation. La plupart de journalisation des bibliothèques de support de roulement pour vous. Log4Net (.net) /Log4J (java), il est particulièrement bonne bibliothèque de journalisation à utiliser, et il a beaucoup d'options que vous pourriez trouver utiles. Utilisez tout ce survol de l'intervalle qui fonctionne le mieux pour vous. Pour un pot de miel de l'application, je pense que vous trouverez à l'heure ou à la rotation quotidienne de travail meilleures. Vous pouvez également utiliser une limite fixe, à l'instar de 256 mo, pour vous assurer que votre journal d'efforts n'est pas de dépassement de l'espace disque disponible. Log4Net/Log4J prend en charge cette ainsi.

    Log4J @ Apache.Org

    Log4Net @ Apache.Org

    Le format de vos fichiers de log doit être configurée en fonction de vos besoins. Il est hautement souhaitable d'utiliser un délimiteur qui est peu probable à apparaître dans votre journal d'entrée. Pour votre application, cela peut ne pas être possible. Dans des circonstances normales, certaines parties de l'utilisation des espaces (NCSA journaux), certaines parties de l'utilisation des virgules (pour faire des fichiers CSV), certaines parties d'utiliser les onglets (pour faire des fichiers délimités par des tabulations). Celles-ci ont chacune leurs propres avantages et inconvénients.

    InformationsquelleAutor meklarian
  5. 1

    À mon avis, le plus important est:

    • Début des enregistrements (lignes) avec date/heure formaté après la W3C du profil de l'ISO 8601
    • Utilisez la touche de tabulation comme séparateur de champ dans les dossiers
    InformationsquelleAutor Hibou57
  6. 0

    Une suggestion:

    Être pour un pot de miel système (et à moins que les méchants sont vraiment à battre de l'application/du site), vous pouvez envisager de prendre le temps de se connecter à une base de données au lieu.

    Cela permettra de faire de l'analyse et de l'utilisation des journaux plus facile, et en temps réel (c'est à dire que vous n'avez pas besoin de passer par le processus ETL avant d'analyse et de navigation les journaux.

    Cela dit être dans une table DB(s) ou fichier(s), cela n'empêche toutefois pas la nécessité de définir un format. Provisoirement, vous pouvez avoir un "polymorphes" format, avec quelques attributs communs (ID, adresse IP, l'Horodatage, le Cookie/ID, le "niveau" [de l'importance et de l'urgence]), suivie par un court-code mnémonique de la définition d'un type d'événement particulier (par exemple "LIA" = tentative de connexion, "GURL" = deviné url, "SQLI" tentative d'Injection SQL, etc...), suivie par quelques champs numériques, et quelques champs de type chaîne qui sémantique variable selon le mnémonique. Pour résumer:

     - Id 
- TimeStamp (peut-être divisée en date et de l'heure) 
- Adresse_ip 
- UserID_of_sorts 
- //d'autres générique/commune de champs que vous pouvez penser 
- EventCode (LIA, GURL, SQLI...) 
- Message message Texte (varie en fonction notamment de l'instance d'événement) 
- Int1 //Les Numéros De... 
- Int2 
- Str1 //...et le texte dont la signification varie avec la EventCode 
- Str2 
- //... ?

    Maintenant... indépendamment de ce que ça va pour un plat de fichier ou de base de données SQL (et peut-être surtout si vous allez à DB), vous pourrait/devrait utiliser une bibliothèque de journalisation. Peut-être log4j comme suggéré dans d'autres réponses (même si je ne suis pas sûr si c'facilement a des liaisons en Python, et de toute façon, le Python standard du module de journalisation est +/- la même chose...) ou même de la Python à la bibliothèque standard du module de journalisation peut probablement être adaptés à vos besoins.

    InformationsquelleAutor mjv