Kafka

Le type de flux Kafka dans ArcGIS Velocity s’abonne aux messages d’un broker Kafka accessible en externe, et les consomme. Kafka est une plateforme de diffusion en continu distribuée Open Source vous permettant de faire les choses suivantes :

• Publier et s’abonner à un flux de message en continu via les rubriques.
• Stocker de manière fiable des flux de messages en continu.
• Traiter des flux de messages en continu.

Pour en savoir plus sur Apache Kafka

Exemples

Les exemples suivants illustrent des cas d’utilisation du flux :

• Un analyste de données souhaite importer des données de capteurs via un broker Kafka.
• Un service de transport configure un flux Kafka pour consommer des positions de véhicules et des informations attributaires.

Remarques sur l’utilisation

Gardez les points suivants à l’esprit lorsque vous utilisez le flux :

• Ce type de flux prend en charge la connectivité vers Confluent Kafka.
• N’utilisez pas un seul groupe de consommateurs pour plusieurs rubriques. Créez un groupe de consommateurs pour chaque rubrique.
• Si plusieurs consommateurs (un flux Velocity Kafka est un consommateur) utilisent un seul groupe de consommateurs pour consommer les données d’une rubrique, chaque consommateur (ou flux) ne reçoit qu’une partie des données selon le nombre de partitions de la rubrique.
• S’il y a plus de consommateurs d’une rubrique qui utilisent le même groupe de consommateurs que le nombre de partitions, certains consommateurs ne reçoivent aucune donnée.
• N’utilisez pas le même groupe de consommateurs référencé par un flux Velocity Kafka à l’extérieur de Velocity.
• Après avoir configuré les paramètres de connexion de flux, configurez les données en entrée pour définir la structure et les paramètres clés.

Paramètres

Les paramètres du flux sont les suivants :

Paramètre	Description	Type de données
Agent	Liste délimitée par des virgules des brokers Kafka, spécifiés comme server:port, par exemple : machine1.domain.com:9092,machine2.domain.com:9092.	Chaîne
Rubrique	Rubrique Kafka à partir de laquelle Velocity consomme des messages.	Chaîne
ID du groupe de consommateurs (facultatif)	Groupe de consommateurs Kafka dont Velocity devient membre.	Chaîne
Authentification	Spécifie le type d’authentification utilisé pour accéder à l’extrémité HTTP. Les options d’authentification sont None (Aucune), SASL/PLAIN, SASL/SCRAM-SHA-256 et SASL/SCRAM-SHA-512.	Chaîne
Use SSL (Utiliser SSL)	Indique si SSL (SASL_SSL) est utilisé pour la connexion à l’agent Kafka. Remarque : Doit correspondre à la configuration de l’agent sur le port spécifié. Si ce paramètre est défini sur false (faux), Velocity se connecte via PLAINTEXT.	Booléen
Nom d’utilisateur	Nom d’utilisateur pour l’accès à l’agent Kafka. Ce paramètre ne s’applique que lorsque la valeur de Authentication (Authentification) est définie sur SASL/PLAIN, SASL/SCRAM-SHA-256 ou SASL/SCRAM-SHA-512.	Chaîne
Mot de passe	Mot de passe pour l’accès à l’agent Kafka. Ce paramètre ne s’applique que lorsque la valeur de Authentication (Authentification) est définie sur SASL/PLAIN, SASL/SCRAM-SHA-256 ou SASL/SCRAM-SHA-512.	Chaîne

Considérations et limitations

Tenez compte des points suivants lorsque vous utilisez le flux :

Le broker Kafka doit être accessible en externe via Internet.