Kafka

Le type de flux Kafka dans ArcGIS Velocity s’abonne aux messages d’un broker Kafka accessible en externe, et les consomme. Kafka est une plateforme de diffusion en continu distribuée Open Source vous permettant de faire les choses suivantes :

• Publier et s’abonner à un flux de message en continu via les rubriques.
• Stocker de manière fiable des flux de messages en continu.
• Traiter des flux de messages en continu.

Pour plus d’informations sur Kafka, reportez-vous à la documentation de Apache Kafka.

Exemples

• Un analyste de données souhaite importer des données de capteurs via un broker Kafka.
• Un service de transport configure un flux Kafka pour consommer des positions de véhicules et des informations attributaires.

Remarques sur l'utilisation

• Le broker Kafka doit être accessible en externe via Internet.
• Ce type de flux prend en charge la connectivité vers Confluent Kafka.
• Vous ne devez pas utiliser un seul groupe de consommateurs pour plusieurs rubriques. Créez un groupe de consommateurs pour chaque rubrique.
• Si plusieurs consommateurs (un flux Velocity Kafka est un consommateur) utilisent un seul groupe de consommateurs pour consommer les données d’une rubrique, chaque consommateur (ou flux) n’obtient qu’une partie des données selon le nombre de partitions de la rubrique.
• Si plusieurs consommateurs d’une rubrique utilisent le même groupe de consommateurs que le nombre de partitions, certains consommateurs n’obtiendront aucune donnée.
• N’utilisez pas le même groupe de consommateurs référencé par un flux Velocity Kafka à l’extérieur de Velocity.
• Après avoir configuré les paramètres de connexion du flux, consultez la rubrique Configurer les données en entrée pour savoir comment définir la structure et les paramètres clés.

Paramètres

Paramètre	Description	Type de données
Agent	Liste délimitée par des virgules des brokers Kafka, spécifiés comme server:port, par exemple : machine1.domain.com:9092,machine2.domain.com:9092.	Chaîne
Rubrique	Spécifie la rubrique Kafka à partir de laquelle Velocity consomme des messages.	Chaîne
ID du groupe de consommateurs (facultatif)	Spécifie le groupe de consommateurs Kafka dont Velocity deviendra membre.	Chaîne
Authentification	Spécifie le type d’authentification pour accéder à l’extrémité HTTP. Les options d’authentification sont None (Aucune), SASL/PLAIN, SASL/SCRAM-SHA-256 et SASL/SCRAM-SHA-512.	Chaîne
Use SSL (Utiliser SSL)	Indique si Velocity utilise SSL (SASL_SSL) lorsqu'il tente de se connecter à l'agent Kafka. Remarque : Doit correspondre à la configuration de l'agent sur le port spécifié. Si ce paramètre est désactivé, Velocity se connecte via PLAINTEXT.	Booléen
Nom d\\'utilisateur	Spécifie le nom d’utilisateur pour accéder au broker Kafka. Ce paramètre ne s’applique que lorsque la valeur de Authentication (Authentification) est définie sur SASL/PLAIN, SASL/SCRAM-SHA-256 ou SASL/SCRAM-SHA-512.	Chaîne
Mot de passe	Spécifie le mot de passe pour accéder au broker Kafka. Ce paramètre ne s’applique que lorsque la valeur de Authentication (Authentification) est définie sur SASL/PLAIN, SASL/SCRAM-SHA-256 ou SASL/SCRAM-SHA-512.	Chaîne

Considérations et limitations

Le broker Kafka doit être accessible en externe via Internet.