Kafka configuration du serveur - auditeurs vs. annoncés.les auditeurs

Pour obtenir Kafka en cours d'exécution, vous devez définir des propriétés dans config/server.properties fichier. Il y a deux paramètres, je ne comprends pas.

Quelqu'un peut-il expliquer la différence entre les auditeurs et la publicité.les auditeurs de la propriété?

La documentation dit:

auditeurs: L'adresse de la socket d'écoute du serveur.

et

annoncés.auditeurs:
Nom d'hôte et le port du courtier fera de la publicité pour les producteurs et les consommateurs.

Quand dois-je utiliser?

OriginalL'auteur CPA | 2017-03-24

  1. 27

    Depuis je ne peux me prononcer mais je vais poster cela comme une "réponse", en ajoutant à M. Situations réponse.

    Dans le même document il liens, il y a ce texte de présentation sur lequel l'auditeur est utilisé par un KAFKA client (https://cwiki.apache.org/confluence/display/KAFKA/KIP-103%3A+Separation+of+Internal+and+External+traffic):

    Comme indiqué précédemment, les clients ne voient jamais l'auditeur noms et faire des métadonnées demandes exactement comme avant. La différence est que la liste des points de terminaison de retour est limité à l'auditeur nom du point d'arrêt où ils ont fait la demande.

    Ceci est important car en fonction de ce que l'URL que vous utilisez dans votre fichier d'amorçage.serveurs de config qui sera l'URL* que le client va revenir si elle est associée à la publicité.les auditeurs (je ne sais pas ce que le comportement est si l'auditeur ne doit pas exister).

    Également à noter:

    L'exception est la Gardienne d'animaux à base de consommateurs. Ces consommateurs récupérer le courtier de l'enregistrement des informations directement à partir de la Gardienne et choisissez le premier auditeur de texte en CLAIR que le protocole de sécurité (le seul protocole de sécurité qu'ils soutiennent).

    Comme un exemple courtier config (pour tous les courtiers en cluster):

    advertised.listeners=EXTERNAL://XXXXX.compute-1.amazonaws.com:9990,INTERNAL://ip-XXXXX.ec2.internal:9993

    inter.courtier.auditeur.nom=INTERNE

    auditeur.de sécurité.le protocole.map=EXTERNE:SSL,INTERNE:en CLAIR

    Si le client utilise XXXXX.calculer-1.amazonaws.com:9990 pour se connecter, les métadonnées, extraction ira à ce courtier. Cependant, le retour de l'URL à utiliser avec le Groupe Coordonnateur ou Chef de file pourrait être 123.calculer-1.amazonaws.com:9990* (une autre machine!). Cela signifie que le match n'est fait sur le nom du port d'écoute comme annoncé par KIP-103 indépendamment de l'URL (nœud).

    Depuis le protocole de carte EXTERNE est SSL ce serait vous obliger à utiliser un fichier de clés SSL pour se connecter.

    En revanche, si vous êtes dans AWS permet de dire, vous pouvez alors question d'ip-XXXXX.ec2.interne:9993 et la connexion devrait être clair que, selon le protocole de la carte.

    Cela est particulièrement nécessaire dans l'IaaS, où, dans mon cas, les courtiers et les consommateurs vivent sur AWS, tandis que le producteur de la vie sur un site client, donc besoin de différents protocoles de sécurité et les auditeurs.

    EDIT:
    Aussi l'ajout de Règles de trafic Entrant est beaucoup plus facile maintenant que vous avez des ports différents pour différents clients (courtiers, producteurs, consommateurs).

    Je ne suis pas sûr que vous pouvez affecter des alias à la fois à listeners et advertised.listeners, au moins pour moi sur HDP 2.5.0.3 il ne fonctionne pas, peut-être raté quelque chose. Ce qui a fonctionné pour moi a été de définir les différentes config groupes et de l'ensemble de la annoncé particulier sur le besoin d'adresses IP. Merci,

    OriginalL'auteur PragmaticProgrammer

  2. 16

    listeners est ce que le courtier va utiliser pour créer un serveur de sockets.

    advertised.listeners est ce que les clients utiliseront pour se connecter aux courtiers.

    Les deux paramètres peuvent être différents si vous avez un "complexe" de configuration du réseau (avec des choses comme public et privé sous-réseaux et le routage entre les deux).

    OriginalL'auteur Thilo

  3. 4

    À partir de ce lien: https://cwiki.apache.org/confluence/display/KAFKA/KIP-103%3A+Separation+of+Internal+and+External+traffic

    Au cours de la 0.9.0.0 cycle de sortie, prise en charge de plusieurs auditeurs par
    le courtier a été introduit. Chaque auditeur est associée à une sécurité
    protocole, ip/host et le port. Lorsqu'il est combiné avec la publicité
    les auditeurs mécanisme, il est d'une grande souplesse avec une
    limitation: plus d'un auditeur par le protocole de sécurité dans chacun des
    deux configs (auditeurs et de la publicité.les auditeurs).

    Dans certains environnements, on peut différencier externe
    les clients, les clients internes et le trafic de réplication indépendamment de la
    protocole de sécurité pour le coût, de performance et de sécurité. Quelques
    les exemples qui illustrent cette situation:

    • Le trafic de réplication est affecté à un réseau séparé de l'interface de manière à ne pas interférer avec le trafic client.
    • Externes du trafic passe par un proxy/répartiteur de charge (sécurité, flexibilité), tandis que le trafic interne frappe les courtiers directement
      (performance, coût).
    • Des paramètres de sécurité différents pour externe interne par rapport à la circulation, même si le protocole de sécurité est le même (par exemple ensemble différent de
      permis mécanismes SASL, les serveurs d'authentification, des fichiers de clés différents,
      etc.)

    En tant que tel, nous proposons que Kafka courtiers doivent être en mesure de définir
    plusieurs auditeurs pour le même protocole de sécurité pour la liaison (c'est à dire
    les auditeurs) et de partage (annoncé.les auditeurs), de sorte que interne,
    externe et le trafic de réplication peuvent être séparés si nécessaire.

    Donc,

    auditeurs - liste séparée par des Virgules de l'Uri de nous écouter et de leurs protocoles.
    Spécifiez le nom d'hôte comme 0.0.0.0 à se lier à toutes les interfaces.
    Laissez le nom d'hôte vide de se lier à l'interface par défaut.
    Exemples de juridique auditeur listes:

    • En CLAIR://myhost:9092,TRACE://:9091
    • En CLAIR://0.0.0.0:9092, TRACE://localhost:9093

    annoncés.les auditeurs - les Auditeurs de publier à la Gardienne pour les clients à utiliser, si différents que les auditeurs ci-dessus.
    Dans les environnements IaaS, il peut être différente de l'interface à laquelle le courtier se lie. Si ce n'est pas définie, la valeur de listeners sera utilisé.

    OriginalL'auteur M. Situation