El tipo de feed de Kafka en ArcGIS Velocity se suscribe a un agente de Kafka disponible externamente y consume sus mensajes. Kafka es una plataforma de transmisión distribuida de código abierto que puede utilizar para lo siguiente:
- Publicar y suscribirse a una transmisión de mensajes a través de temas.
- Almacenar transmisiones de mensajes de forma fiable.
- Procesar transmisiones de mensajes.
Más información sobre Apache Kafka
Ejemplos
A continuación se enumeran algunos ejemplos de casos de uso del feed:
- Un analista de datos desea procesar datos de sensores disponibles a través del agente de Kafka.
- Un departamento de transporte configura un feed de Kafka para consumir posiciones de vehículos e información de atributos.
Notas de uso
Tenga en cuenta lo siguiente al trabajar con el feed:
- Este tipo de feed admite la conectividad con Confluent Kafka.
- No utilice un único grupo de consumidores para varios temas. Cree un grupo de consumidores para cada tema.
- Cuando hay varios consumidores (un feed Velocity Kafka es un consumidor) que utilizan un grupo de un solo consumidor para consumir datos de un tema, cada consumidor (o feed) recibe únicamente parte de los datos, dependiendo del número de particiones del tema.
- Algunos consumidores no reciben ningún dato cuando haya más consumidores de un tema utilizando el mismo grupo de consumidores que el número de particiones.
- No utilice el mismo grupo de consumidores al que hace referencia un feed Velocity Kafka ajeno a Velocity.
- Después de configurar los parámetros de conexión de feed, configure los datos de entrada para definir el esquema y los parámetros clave.
Parámetros
Los siguientes son los parámetros del feed:
| Parámetro | Descripción | Tipo de datos |
|---|---|---|
| Agente | Una lista delimitada por comas de agentes de Kafka especificada como server:port, por ejemplo, machine1.domain.com:9092,machine2.domain.com:9092. | Cadena de caracteres |
| Tema | El tema de Kafka desde el que Velocity consume mensajes. | Cadena de caracteres |
| Id. de grupo de consumidor (opcional) | El grupo de consumidores Kafka se une a Velocity como miembro. | Cadena de caracteres |
| Autenticación | Especifica el tipo de autenticación utilizado para acceder al extremo HTTP. Las opciones de autenticación son Ninguna, SASL/PLAIN, SASL/SCRAM-SHA-256 y SASL/SCRAM-SHA-512. | Cadena de caracteres |
| Usar SSL | Especifica si se utiliza SSL (SASL_SSL) para establecer conexión con el agente de Kafka. Nota:Debe coincidir con la configuración que tiene el agente en un puerto especificado. Si es False, Velocity se conecta a través de PLAINTEXT. | Booleano |
| Nombre de usuario | El nombre de usuario para acceder al agente de Kafka. Este parámetro solo se aplica si Autenticación tiene el valor SASL/PLAIN, SASL/SCRAM-SHA-256 o SASL/SCRAM-SHA-512. | Cadena de caracteres |
| Contraseña | La contraseña para acceder al agente de Kafka. Este parámetro solo se aplica si Autenticación tiene el valor SASL/PLAIN, SASL/SCRAM-SHA-256 o SASL/SCRAM-SHA-512. | Cadena de caracteres |
Consideraciones y limitaciones
Plantéese lo siguiente al utilizar el feed:
Se debe poder acceder externamente al agente de Kafka en Internet.