Ajouter à un fichier journal dans S3 (ou tout autre service AWS)

J'ai besoin de créer un fichier journal dans AWS S3 (ou de tout autre service AWS qui peut aider ici).
AFAIU il n'y a aucun moyen d'ajouter une ligne à un fichier journal existant dans S3. Cela signifie que j'aurais besoin de récupérer et de renvoyer l'ensemble du journal chaque fois qu'un nouveau message arrive, ou que j'ai besoin de créer un nouvel objet par message. La dernière option est compliqué lors de la récupération de données.

J'ai beaucoup de messages de journal et il est important de ne pas les perdre de sorte qu'il n'est pas une option pour le tampon dans le cadre de mon mémoire de serveur et de les envoyer à S3 de temps en temps.

Qui AWS service serait ma meilleure option (également en termes d'économie de coûts).

source d'informationauteur Yaron Naveh

  1. 18

    Ce que vous cherchez est appelé EBS (Elastic Block Store).

    Vous pouvez joindre un EBS lecteur à n'importe quel serveur, et de démarrer l'enregistrement. Si votre serveur meurt, l'EBS disque seront toujours autour de vous et vous pouvez regarder les données plus tard.

    Encore mieux, il suffit de créer une centrale serveur syslog (avec un EBS en voiture), et d'avoir tous vos (apatrides) application des serveurs d'envoyer leurs journaux.

    Lorsque votre EBS disque se remplit, archive de la journée/semaine/etc S3 journaux. Cela vous permet de stocker assez de gros fichiers en S3 (et même faire de la compression si vous le souhaitez).

  2. 6

    AWS SimpleDB permettrait de faire ce que vous voulez:

    http://aws.amazon.com/simpledb/usecases_logging/

    Depuis Amazon SimpleDB permet de décharger le travail
    nécessaire pour exécuter une base de données de production, de nombreux développeurs trouve que c'est une
    idéal, basse-touch banque de données pour l'enregistrement des informations sur les conditions
    ou des événements, mises à jour de statut, des activités récurrentes, les processus de flux de travail,
    ou de l'appareil et les états de l'application. Amazon SimpleDB vous permet de
    coût-efficace “régler et oublier” ces journaux de données et de les utiliser pour
    des fins diverses, telles que:

    De surveillance ou de suivi de mesure de la Tendance de l'analyse d'affaires de l'Audit
    L'archivage ou la conformité à la réglementation d'Application exemples:

    Stocker les journaux de serveur centralisé, afin de réduire l'espace qu'ils consomment sur chaque
    serveur en cours d'exécution de la Journalisation des mesures opérationnelles ou les résultats de cours
    des tests de performance pour plus tard l'analyse de l'Audit de l'accès ou des entrées de
    les modifications de configuration pour les applications en réseau ou des périphériques de Capture
    et la surveillance des conditions d'environnement (température, les niveaux de pression,
    de l'humidité, etc.) à divers endroits et de la programmation des alertes pour les
    conditions particulières d'enregistrement et de suivi des données de géolocalisation
    sur des objets ou des processus d'état pour les activités dans un flux de travail Multiples
    les attributs d'Amazon SimpleDB, en font un bon magasin de données pour
    journaux de données:

    Centrale, avec une Haute Disponibilité – Si vos journaux de données ont été précédemment
    être pris au piège localement dans plusieurs dispositifs ou des objets, des applications, ou
    cloisonnement des processus, vous pourrez profiter de l'avantage d'être en mesure d'accéder à votre
    les données de manière centralisée en un seul endroit dans le cloud. De plus, Amazon SimpleDB
    automatiquement et géo-redondance réplique de vos données pour assurer une haute
    la disponibilité. Cela signifie que, contrairement à une centralisé sur site
    solution, vous n'êtes pas créer un point de défaillance unique avec Amazon
    SimpleDB, et vos données seront là quand vous en avez besoin. Tous les
    les données peuvent être stockées par le biais de demandes de services web avec une solution et
    ensuite accessibles par n'importe quel appareil. Zero Administration – Vous stocker vos données
    articles avec de simples demandes de services web et Amazon Web Services
    soin du reste. Le régler et oublier la nature du service moyen
    vous n'êtes pas passer du temps sur la gestion de base de données afin de stocker et de
    maintenir des registres de données.

    Coût-efficace – Amazon SimpleDB frais des prix peu coûteux à stocker
    et l'interrogation de vos journaux de données. Puisque vous payez comme vous allez seulement pour l'
    ressources que vous consommez, vous n'avez pas besoin pour faire votre propre planification de la capacité
    ou vous inquiéter de la charge de base de données. Le service répond simplement à la demande
    le volume comme il va et vient, en charge, vous seulement pour le
    ressources consommées. Pour en savoir plus sur Amazon Si

  3. 2

    Ce que vous cherchez est possible avec S3. S3 n'a pas besoin d'avoir le fichier complet pour commencer à stocker des données. Vous pouvez utiliser le multipart télécharger pour stocker des morceaux (5 blocs) à la fois. Une fois que vous avez terminé, dire que un jour de course, vous pouvez envoyer le dernier bloc et fermer la multipart télécharger. et commencer l'enregistrement de la prochaine journée.

    S3 permet jusqu'à 10 000 pièces. En choisissant une partie de la taille de 5MiB vous serez en mesure de télécharger des fichiers dynamiques de 50GiB. Devrait être suffisant pour la plupart des cas d'utilisation.

    Initier S3 Multipart Télécharger.
    Recueillir des données dans une mémoire tampon jusqu'à ce que la mémoire tampon atteint S3 inférieure du bloc-limite de taille (5 MO). Générer la somme de contrôle MD5 lors de la construction de la mémoire tampon.
    Télécharger la mémoire tampon d'une Part, de stocker l'ETag.
    Une fois que vous atteignez EOF de vos données, télécharger le dernier bloc (qui peut être plus petite que 5MiB).
    Finaliser le Multipart Télécharger.

    C'est une façon de trouver la meilleure solution car il ne vous coûtera pas et instance EC2 ou EBS les coûts de stockage.

  4. 1

    AWS n'est pas une bonne solution pour le moment pour l'enregistrement, mais il y a un peu d'autres services de cloud computing sur le marché, de recueillir et d'organiser les journaux, y compris papertrailapp.com et loggly.com.

  5. 0

    La façon la plus simple pour ce faire est de vous connecter sur le disque et de la faire pivoter et de les expédier les journaux sur un intervalle qui fonctionne pour vous.

    Ce peut être un peu plus complexe si vous êtes à la place des instances de l'instance ou de la adossés à des instances.