Der Feed-Typ Kafka in ArcGIS Velocity abonniert und verwendet Nachrichten von einem Kafka-Broker, auf den extern zugegriffen werden kann. Kafka ist eine Open-Source-Plattform für verteiltes Streaming, mit der Sie Folgendes tun können:
- Veröffentlichen und Abonnieren eines Streams von Nachrichten per Topics
- Nachrichten-Streams zuverlässig speichern
- Nachrichten-Streams verarbeiten
Weitere Informationen zu Kafka finden Sie in der Dokumentation zu Apache Kafka.
Beispiele
Im Folgenden sehen Sie Beispiele für die Verwendung des Kafka-Feeds:
- Ein Datenanalyst möchte über einen Kafka-Broker verfügbar gemachte Sensordaten erfassen.
- Eine Verkehrsbehörde konfiguriert einen Kafka-Feed, um Fahrzeugpositions- und Attributinformationen zu verwenden.
Verwendungshinweise
Beachten Sie beim Arbeiten mit dem Kafka-Feed Folgendes:
- Dieser Feed-Typ unterstützt die Verbindung zu Confluent Kafka.
- Verwenden Sie für mehrere Topics nicht eine einzelne Consumer-Gruppe. Erstellen Sie für jedes Topic eine Consumer-Gruppe.
- Wenn von mehreren Consumern (darunter auch Velocity-Kafka-Feeds) eine einzelne Consumer-Gruppe zum Verwenden von Daten aus einem Topic genutzt wird, empfängt jeder Consumer (bzw. Feed) basierend auf der Anzahl an Partitionen im Topic lediglich einen Teil der Daten.
- Wenn für ein Topic mehr Consumer dieselbe Consumer-Gruppe verwenden, als Partitionen vorhanden sind, empfangen einige Consumer keine Daten.
- Verwenden Sie eine Consumer-Gruppe, die von einem Velocity-Kafka-Feed referenziert wird, nicht auch außerhalb von Velocity.
- Nachdem Sie die Feed-Verbindungsparameter konfiguriert haben, lesen Sie Konfigurieren von Eingabedaten, um zu erfahren, wie Sie das Schema und die Schlüsselparameter definieren.
Parameter
Nachfolgend werden die Parameter für den Kafka-Feed beschrieben:
| Parameter | Beschreibung | Datentyp |
|---|---|---|
Broker | Eine kommagetrennte Liste von Kafka-Brokern, angegeben als server:port, z. B. machine1.domain.com:9092,machine2.domain.com:9092. | Zeichenfolge |
Topic | Das Kafka-Topic, aus dem Velocity Nachrichten verwendet. | Zeichenfolge |
Consumer-Gruppen-ID (optional) | Die Kafka-Consumer-Gruppe tritt Velocity als Mitglied bei. | Zeichenfolge |
Authentifizierung | Gibt den Typ der Authentifizierung für den Zugriff auf den HTTP-Endpunkt an. Die Authentifizierungsoptionen lauten Keine, SASL/PLAIN, SASL/SCRAM-SHA-256 und SASL/SCRAM-SHA-512. | Zeichenfolge |
SSL verwenden | Gibt an, ob bei der Verbindung zum Kafka-Broker SSL (SASL_SSL) verwendet wird. Hinweis:Diese Einstellung sollte mit der Konfiguration des Brokers an einem angegebenen Port übereinstimmen. Wenn diese Einstellung "False" ist, verbindet sich Velocity über PLAINTEXT. | Boolesch |
Benutzername | Der Benutzername für den Zugriff auf den Kafka-Broker. Dieser Parameter findet nur dann Anwendung, wenn Authentifizierung auf SASL/PLAIN, SASL/SCRAM-SHA-256 oder SASL/SCRAM-SHA-512 festgelegt ist. | Zeichenfolge |
Kennwort | Das Kennwort für den Zugriff auf den Kafka-Broker. Dieser Parameter findet nur dann Anwendung, wenn Authentifizierung auf SASL/PLAIN, SASL/SCRAM-SHA-256 oder SASL/SCRAM-SHA-512 festgelegt ist. | Zeichenfolge |
Überlegungen und Beschränkungen
Auf den Kafka-Broker muss extern im Internet zugegriffen werden können.