El tipo de feed de Kafka en ArcGIS Velocity se suscribe a un agente de Kafka disponible externamente y consume sus mensajes. Kafka es una plataforma de transmisión distribuida de código abierto que puede utilizar para lo siguiente:
- Publicar y suscribirse a una transmisión de mensajes a través de temas.
- Almacenar transmisiones de mensajes de forma fiable.
- Procesar transmisiones de mensajes.
Para obtener más información sobre Kafka, consulte la documentación de Apache Kafka.
Ejemplos
- Un analista de datos desea procesar datos de sensores disponibles a través del agente de Kafka.
- Un departamento de transporte configura un feed de Kafka para consumir posiciones de vehículos e información de atributos.
Notas de uso
- Se debe poder acceder externamente al agente de Kafka en Internet.
- Este tipo de feed admite la conectividad con Confluent Kafka.
- No se debe utilizar un grupo de un solo consumidor en varios temas. Cree un grupo de consumidores para cada tema.
- Cuando hay varios consumidores (un feed Velocity Kafka es un consumidor) que utilizan un grupo de un solo consumidor para consumir datos de un tema, cada consumidor (o feed) obtiene parte de los datos solamente, dependiendo del número de particiones del tema.
- Algunos consumidores no obtendrán ningún dato cuando haya más consumidores de un tema utilizando el mismo grupo de consumidores que el número de particiones.
- No utilice el mismo grupo de consumidores al que hace referencia un feed Velocity Kafka ajeno a Velocity.
- Después de configurar los parámetros de conexión del feed, consulte Configurar datos de entrada para obtener información sobre cómo definir el esquema y los parámetros clave.
Parámetros
| Parámetro | Descripción | Tipo de datos |
|---|---|---|
Agente | Una lista delimitada por comas de agentes de Kafka especificada como server:port, por ejemplo, machine1.domain.com:9092,machine2.domain.com:9092. | Cadena de caracteres |
Tema | Especifica el tema de Kafka desde el que Velocity consumirá mensajes. | Cadena de caracteres |
Id. de grupo de consumidor (opcional) | Especifica el grupo de consumidores de Kafka al que Velocity se unirá como miembro. | Cadena de caracteres |
Autenticación | Especifica el tipo de autenticación para acceder al extremo HTTP. Las opciones de autenticación son Ninguna, SASL/PLAIN, SASL/SCRAM-SHA-256 y SASL/SCRAM-SHA-512. | Cadena de caracteres |
Usar SSL | Especifica si Velocity utilizará SSL (SASL_SSL) al intentar conectarse al agente Kafka. Nota:Debe coincidir con la configuración que tiene el agente en un puerto especificado. Si está deshabilitada, Velocity se conectará a través de PLAINTEXT. | Booleano |
Nombre de usuario | Especifica el nombre de usuario para acceder al agente de Kafka. Este parámetro solo se aplica si Autenticación tiene el valor SASL/PLAIN, SASL/SCRAM-SHA-256 o SASL/SCRAM-SHA-512. | Cadena de caracteres |
Contraseña | Especifica la contraseña para acceder al agente de Kafka. Este parámetro solo se aplica si Autenticación tiene el valor SASL/PLAIN, SASL/SCRAM-SHA-256 o SASL/SCRAM-SHA-512. | Cadena de caracteres |
Consideraciones y limitaciones
Se debe poder acceder externamente al agente de Kafka en Internet.