Comment décider Kafka taille de Cluster

J'ai l'intention de décider du nombre de nœuds présents sur Kafka Cluster. Je ne suis pas sûr que les paramètres à prendre en considération. Je suis sûr que ce doit être >=3 (avec facteur de réplication de 2 et de tolérance de panne de 1 nœud).

Quelqu'un peut me dire quels sont les paramètres qui doivent être gardés à l'esprit tout en décidant de la taille de cluster et comment ils l'effet de la taille.

Je sais des facteurs suivants, mais ne savez pas comment il quantitativement les effets de la taille de cluster. Je sais comment elle est qualitativement l'effet de la taille de cluster. Est-il un autre paramètre qui effets de taille de cluster?

1. Replication factor (cluster size >= replication factor)
2. Node failure tolerance. (cluster size >= node-failure + 1)

Quelle devrait être la taille de cluster pour la suite du scénario, tandis que la considération de tous les paramètres

1. There are 3 topics.
2. Each topic has messages of different size. Message size range is 10 to 500kb. Average message size being 50kb.
3. Each topic has different partitions. Partitions are 10, 100, 500
4. Retention period is 7 days
5. There are 100 million messages which gets posted every day for each topic.

Quelqu'un peut-il svp m'indiquer la documentation pertinente ou toute autre blog qui peut en discuter. J'ai cherché sur google mais en vain

Aucune infraction, mais cela semble primarily opinion-based pour moi. Inclure plus de renseignements au sujet de votre condition d'application. est-il mis en place, vous êtes en cours d'exécution avec ? tu parles d'un environnement de production? quel type de chargement des données que vous attendiez.
Je veux prendre l'appel sur mon propre. Je veux savoir s'il y a des paramètres sur la base desquels nous avons décider de la taille de cluster. Kafka documentation ne fournit pas d'informations sur la taille de cluster optimale. Va ajouter des points de données autour d'elle.

OriginalL'auteur puneet | 2015-01-13

  1. 16

    Que je comprends, l'obtention d'un bon débit de Kafka ne dépendent pas seulement sur la taille de cluster; il en existe d'autres configurations qui doivent être pris en considération. Je vais essayer de partager autant que je le peux.

    De Kafka débit est censé être linéairement scalabale avec les numéros de disque que vous avez. La nouvelle de multiples répertoires de données fonctionnalité introduite dans Kafka 0.8 permet de Kafka sujets à avoir des partitions différentes sur différentes machines. Comme le numéro de la partition augmente considérablement les chances que le chef de file de l'élection processus sera lent, en effectuant également la consommation de rééquilibrage. C'est quelque chose à considérer, et pourrait être un goulot d'étranglement.

    Une autre chose principale pourrait être le disque rincer taux. Kafka toujours écrit immédiatement toutes les données du système de fichiers, le plus souvent, les données sont transférées sur disque le plus "chercher" sédentaires " Kafka sera, et plus le débit. Encore une fois une très faible débit taux pourrait conduire à des problèmes différents, comme dans ce cas, la quantité de données à être vidées sera grand. Afin de fournir un chiffre exact n'est pas très pratique, et je pense que c'est la raison pour laquelle vous ne pouvait pas trouver une telle réponse directe à la Kafka documentation.

    Il y aura aussi d'autres facteurs. Par exemple, le consommateur fetch de la taille, des compressions, la taille du lot pour asynchrones producteurs, socket tailles de tampon, etc.

    Matériel & OS jouera également un rôle clé dans ce que l'utilisation de Kafka dans un Linux en fonction de l'environnement est conseillé en raison de sa pageCache mécanisme pour l'écriture des données sur le disque. En lire plus sur ce ici

    Vous pouvez également jeter un oeil à comment OS rincer le comportement de jouer un rôle clé en considération avant de le paramétrer en fonction de vos besoins. Je crois que c'est la clé pour comprendre la philosophie de conception, ce qui le rend si efficace en termes de débit et de tolérance de panne.

    Peu plus de ressources que je trouve très utiles pour creuser

    https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

    http://blog.liveramp.com/2013/04/08/kafka-0-8-producer-performance-2/

    https://grey-boundary.io/load-testing-apache-kafka-on-aws/

    https://cwiki.apache.org/confluence/display/KAFKA/Performance+test

    OriginalL'auteur user2720864

  2. 2

    J'ai eu récemment travaillé avec kafka et ce sont mes observations.

    Chaque thème est divisé en partitions et toutes les partitions d'un sujet sont distribués dans l'ensemble de kafka courtiers; tout d'abord elles permettent d'enregistrer des sujets dont la taille est supérieure à la capacité d'un seul kafka courtier et aussi ils augmentent la consommation de parallélisme.

    Pour augmenter la fiabilité et la tolérance aux pannes,les reproductions de partitions sont faites et ils n'augmentent pas au consommateur de parallélisme.La manette de la règle est d'un seul courtier ne peut héberger qu'un seul réplica par partition. D'où Nombre de courtiers doivent être >= Pas de répliques

    Toutes les partitions sont répartis dans tous les courtiers disponibles,nombre de partitions peuvent être indépendamment du nombre de courtiers, mais le nombre de partitions doit être égal au nombre de consommateurs de threads dans un groupe de consommateurs(pour obtenir un meilleur débit)

    La taille de cluster doit être décidé en gardant à l'esprit le débit que vous voulez atteindre à la consommation.

    Merci pour l'information. L'un des objectif est de haut débit, Comment puis-je le faire?
    Afin d'atteindre une haute consommation de débit c'est à dire consommer des messages à taux élevé, augmenter le nombre de partitions et de feu, pas de threads égale à aucune des partitions de haut niveau de consommation.
    ce qui va vous arriver si vous avez comme 1000 partitons et que vous voulez exécuter les consommateurs à consommateurs des messages à partir de toutes les partitions ???
    La conception d'un haut niveau de consommation avec 1000 sujets, de sorte que chaque thread consomme une partition. Pour plus de détails, voir "création d'un haut niveau de Consommation" dans ce lien --> cwiki.apache.org/confluence/display/KAFKA/...
    comme mentionné par leonardo exécuter plusieurs machines avec le même groupe de consommateurs. Pas de partitions doit être décidé en gardant à l'esprit la taille du sujet et de l'équilibre de la charge sur les courtiers. Oui, plus les partitions de permettre aux consommateurs de débit, mais l'affectation d'un grand nombre de partitions conduit à de très peu de données de la partition/et de fil en plus de frais généraux

    OriginalL'auteur nithin