Kafka

Le type de flux Kafka dans ArcGIS Velocity s’abonne aux messages d’un broker Kafka accessible en externe, et les consomme. Kafka est une plateforme de diffusion en continu distribuée Open Source vous permettant de faire les choses suivantes :

• Publier et s’abonner à un flux de message en continu via les rubriques.
• Stocker de manière fiable des flux de messages en continu.
• Traiter des flux de messages en continu.

Pour plus d’informations sur Kafka, reportez-vous à la documentation de Apache Kafka.

Exemples

Les exemples suivants utilisent le flux Kafka :

• Un analyste de données souhaite importer des données de capteurs via un broker Kafka.
• Un service de transport configure un flux Kafka pour consommer des positions de véhicules et des informations attributaires.

Remarques sur l’utilisation

Tenez compte des points suivants lorsque vous utilisez le flux Kafka :

• Ce type de flux prend en charge la connectivité vers Confluent Kafka.
• N’utilisez pas un seul groupe de consommateurs pour plusieurs rubriques. Créez un groupe de consommateurs pour chaque rubrique.
• Si plusieurs consommateurs (un flux Velocity Kafka est un consommateur) utilisent un seul groupe de consommateurs pour consommer les données d’une rubrique, chaque consommateur (ou flux) ne reçoit qu’une partie des données selon le nombre de partitions de la rubrique.
• S’il y a plus de consommateurs d’une rubrique qui utilisent le même groupe de consommateurs que le nombre de partitions, certains consommateurs ne reçoivent aucune donnée.
• N’utilisez pas le même groupe de consommateurs référencé par un flux Velocity Kafka à l’extérieur de Velocity.
• Après avoir configuré les paramètres de connexion du flux, consultez la rubrique Configurer les données en entrée pour savoir comment définir la structure et les paramètres clés.

Paramètres

Les paramètres du flux Kafka sont présentés ci-après :

Paramètre	Description	Type de données
Agent	Liste délimitée par des virgules des brokers Kafka, spécifiés comme server:port, par exemple : machine1.domain.com:9092,machine2.domain.com:9092.	Chaîne
Rubrique	Rubrique Kafka à partir de laquelle Velocity consomme des messages.	Chaîne
ID du groupe de consommateurs (facultatif)	Groupe de consommateurs Kafka dont Velocity devient membre.	Chaîne
Authentification	Spécifie le type d’authentification qui est utilisé pour accéder à l’extrémité HTTP. Les options d’authentification sont None (Aucune), SASL/PLAIN, SASL/SCRAM-SHA-256 et SASL/SCRAM-SHA-512.	Chaîne
Use SSL (Utiliser SSL)	Indique si SSL (SASL_SSL) est utilisé pour la connexion au broker Kafka. Remarque : Doit correspondre à la configuration de l'agent sur le port spécifié. Si ce paramètre est défini sur false (faux), Velocity se connecte via PLAINTEXT.	Booléen
Nom d\\’utilisateur	Nom d’utilisateur pour l’accès à l’agent Kafka. Ce paramètre ne s’applique que lorsque la valeur de Authentication (Authentification) est définie sur SASL/PLAIN, SASL/SCRAM-SHA-256 ou SASL/SCRAM-SHA-512.	Chaîne
Mot de passe	Mot de passe pour l’accès à l’agent Kafka. Ce paramètre ne s’applique que lorsque la valeur de Authentication (Authentification) est définie sur SASL/PLAIN, SASL/SCRAM-SHA-256 ou SASL/SCRAM-SHA-512.	Chaîne

Considérations et limitations

Le broker Kafka doit être accessible en externe via Internet.