Der Feed-Typ Kafka in ArcGIS Velocity abonniert und verwendet Nachrichten von einem Kafka-Broker, auf den extern zugegriffen werden kann. Kafka ist eine Open-Source-Plattform für verteiltes Streaming, mit der Sie Folgendes tun können:
- Veröffentlichen und Abonnieren eines Streams von Nachrichten per Topics
- Nachrichten-Streams zuverlässig speichern
- Nachrichten-Streams verarbeiten
Weitere Informationen zu Apache Kafka
Beispiele
Es folgen einige Beispiele für Anwendungsfälle für den Feed:
- Ein Datenanalyst möchte über einen Kafka-Broker verfügbar gemachte Sensordaten erfassen.
- Eine Verkehrsbehörde konfiguriert einen Kafka-Feed, um Fahrzeugpositions- und Attributinformationen zu verwenden.
Verwendungshinweise
Beachten Sie beim Arbeiten mit dem Feed Folgendes:
- Dieser Feed-Typ unterstützt die Verbindung zu Confluent Kafka.
- Verwenden Sie für mehrere Topics nicht eine einzelne Consumer-Gruppe. Erstellen Sie für jedes Topic eine Consumer-Gruppe.
- Wenn von mehreren Consumern (darunter auch Velocity-Kafka-Feeds) eine einzelne Consumer-Gruppe zum Verwenden von Daten aus einem Topic genutzt wird, empfängt jeder Consumer (bzw. Feed) basierend auf der Anzahl an Partitionen im Topic lediglich einen Teil der Daten.
- Wenn für ein Topic mehr Consumer dieselbe Consumer-Gruppe verwenden, als Partitionen vorhanden sind, empfangen einige Consumer keine Daten.
- Verwenden Sie eine Consumer-Gruppe, die von einem Velocity-Kafka-Feed referenziert wird, nicht auch außerhalb von Velocity.
- Nachdem Sie die Feed-Verbindungsparameter konfiguriert haben, konfigurieren Sie die Eingabedaten, um das Schema und die Schlüsselparameter zu definieren.
Parameter
Nachfolgend werden die Parameter für den Feed beschrieben:
| Parameter | Beschreibung | Datentyp |
|---|---|---|
| Broker | Eine kommagetrennte Liste von Kafka-Brokern, angegeben als server:port, z. B. machine1.domain.com:9092,machine2.domain.com:9092. | String |
| Topic | Das Kafka-Topic, aus dem Velocity Nachrichten verwendet. | String |
| Consumer-Gruppen-ID (optional) | Die Kafka-Consumer-Gruppe tritt Velocity als Mitglied bei. | String |
| Authentifizierung | Gibt den Typ der Authentifizierung an, die für den Zugriff auf den HTTP-Endpunkt verwendet wird. Die Authentifizierungsoptionen lauten Keine, SASL/PLAIN, SASL/SCRAM-SHA-256 und SASL/SCRAM-SHA-512. | String |
| SSL verwenden | Gibt an, ob bei der Verbindung zum Kafka-Broker SSL (SASL_SSL) verwendet wird. Hinweis:Diese Einstellung sollte mit der Konfiguration des Brokers an einem angegebenen Port übereinstimmen. Wenn diese Einstellung "False" ist, verbindet sich Velocity über PLAINTEXT. | Boolesch |
| Benutzername | Der Benutzername für den Zugriff auf den Kafka-Broker. Dieser Parameter findet nur dann Anwendung, wenn Authentifizierung auf SASL/PLAIN, SASL/SCRAM-SHA-256 oder SASL/SCRAM-SHA-512 festgelegt ist. | String |
| Kennwort | Das Kennwort für den Zugriff auf den Kafka-Broker. Dieser Parameter findet nur dann Anwendung, wenn Authentifizierung auf SASL/PLAIN, SASL/SCRAM-SHA-256 oder SASL/SCRAM-SHA-512 festgelegt ist. | String |
Überlegung und Beschränkung
Berücksichtigen Sie bei der Verwendung des Feeds Folgendes:
Auf den Kafka-Broker muss extern im Internet zugegriffen werden können.