El tipo de feed de Kafka en ArcGIS Velocity se suscribe a un agente de Kafka disponible externamente y consume sus mensajes. Kafka es una plataforma de transmisión distribuida de código abierto que puede utilizar para lo siguiente:
- Publicar y suscribirse a una transmisión de mensajes a través de temas.
- Almacenar transmisiones de mensajes de forma fiable.
- Procesar transmisiones de mensajes.
Para obtener más información sobre Kafka, consulte la documentación de Apache Kafka.
Ejemplos
Los siguientes son ejemplos de uso del feed Kafka:
- Un analista de datos desea procesar datos de sensores disponibles a través del agente de Kafka.
- Un departamento de transporte configura un feed de Kafka para consumir posiciones de vehículos e información de atributos.
Notas de uso
Tenga en cuenta lo siguiente al trabajar con el feed Kafka:
- Este tipo de feed admite la conectividad con Confluent Kafka.
- No utilice un único grupo de consumidores para varios temas. Cree un grupo de consumidores para cada tema.
- Cuando hay varios consumidores (un feed Velocity Kafka es un consumidor) que utilizan un grupo de un solo consumidor para consumir datos de un tema, cada consumidor (o feed) recibe únicamente parte de los datos, dependiendo del número de particiones del tema.
- Algunos consumidores no recibirán ningún dato cuando haya más consumidores de un tema utilizando el mismo grupo de consumidores que el número de particiones.
- No utilice el mismo grupo de consumidores al que hace referencia un feed Velocity Kafka ajeno a Velocity.
- Después de configurar los parámetros de conexión del feed, consulte Configurar datos de entrada para obtener información sobre cómo definir el esquema y los parámetros clave.
Parámetros
Los siguientes son los parámetros del feed Kafka:
| Parámetro | Descripción | Tipo de datos |
|---|---|---|
Agente | Una lista delimitada por comas de agentes de Kafka especificada como server:port, por ejemplo, machine1.domain.com:9092,machine2.domain.com:9092. | Cadena de caracteres |
Tema | El tema de Kafka desde el que Velocity consumirá mensajes. | Cadena de caracteres |
Id. de grupo de consumidor (opcional) | El grupo de consumidores Kafka Velocity se unirá como miembro. | Cadena de caracteres |
Autenticación | Especifica el tipo de autenticación que se utilizará para acceder al extremo HTTP. Las opciones de autenticación son Ninguna, SASL/PLAIN, SASL/SCRAM-SHA-256 y SASL/SCRAM-SHA-512. | Cadena de caracteres |
Usar SSL | Especifica si se utilizará SSL (SASL_SSL) para establecer conexión con el agente de Kafka. Nota:Debe coincidir con la configuración que tiene el agente en un puerto especificado. Si es False, Velocity se conectará através de PLAINTEXT. | Booleano |
Nombre de usuario | El nombre de usuario para acceder al agente de Kafka. Este parámetro solo se aplica si Autenticación tiene el valor SASL/PLAIN, SASL/SCRAM-SHA-256 o SASL/SCRAM-SHA-512. | Cadena de caracteres |
Contraseña | La contraseña para acceder al agente de Kafka. Este parámetro solo se aplica si Autenticación tiene el valor SASL/PLAIN, SASL/SCRAM-SHA-256 o SASL/SCRAM-SHA-512. | Cadena de caracteres |
Consideraciones y limitaciones
Se debe poder acceder externamente al agente de Kafka en Internet.