Kafka

ArcGIS VelocityKafka フィード タイプは、外部からアクセス可能な Kafka ブローカーからのメッセージを登録して使用します。 Kafka はオープンソースの分散ストリーミング プラットフォームであり、これを使用して以下を実行できます。

  • トピックを介してメッセージのストリームを公開および登録します。
  • メッセージのストリームを確実に格納します。
  • メッセージのストリームを処理します。

Kafka の詳細については、Apache Kafka ドキュメントをご参照ください。

  • データ アナリストは、Kafka ブローカーを介してセンサー データを取り込みます。
  • 物流部門は、車両の位置情報や属性情報を使用するように Kafka フィードを構成します。

使用上の注意

  • Kafka ブローカーにはインターネット上で外部からアクセスできなければなりません。
  • このフィード タイプは Confluent Kafka への接続性をサポートします。
  • 複数のトピックに単一の Consumer グループを使用しないでください。 トピックごとに Consumer グループを作成します。
  • 複数の Consumer (Velocity Kafka フィードは 1 つの Consumer) が単一の Consumer グループを使用してトピックからのデータを使用している場合、各 Consumer (またはフィード) は、トピックのパーティション数に応じてデータの一部のみを取得します。
  • 同じ Consumer グループを使用しているトピックの Consumer がパーティション数より多い場合、一部の Consumer はデータを取得しません。
  • Velocity Kafka フィードで参照されている同じ Consumer グループを Velocity の外部で使用しないでください。
  • フィードの接続パラメーターを設定した後で、「入力データの構成」を参照して、スキーマとキー パラメーターの定義方法について確認してください。

パラメーター

パラメーター説明データ タイプ

ブローカー

server:port として指定された Kafka ブローカーのカンマ区切りリスト (例: machine1.domain.com:9092,machine2.domain.com:9092)。

文字列

トピック

Velocity がメッセージを使用する Kafka トピックを指定します。

文字列

Consumer のグループ ID

(オプション)

Velocity がメンバーとして参加させる Kafka Consumer グループを指定します。

文字列

認証

HTTP エンドポイントにアクセスするための認証の種類を指定します。 認証オプションには、[なし][SASL/PLAIN][SASL/SCRAM-SHA-256]、および [SASL/SCRAM-SHA-512] があります。

文字列

SSL の使用

VelocityKafka ブローカーに接続する際に SSL (SASL_SSL) を使用するかどうかを指定します。

注意:

これは、ブローカーの指定されたポートでの構成と一致する必要があります。 無効にすると、Velocity はプレーンテキストを使用して接続します

Boolean

Username

Kafka ブローカーにアクセスするためのユーザー名を指定します。

このパラメーターは、[認証][SASL/PLAIN][SASL/SCRAM-SHA-256]、または [SASL/SCRAM-SHA-512] に設定されている場合にのみ適用されます。

文字列

パスワード

Kafka ブローカーにアクセスするためのパスワードを指定します。

このパラメーターは、[認証][SASL/PLAIN][SASL/SCRAM-SHA-256]、または [SASL/SCRAM-SHA-512] に設定されている場合にのみ適用されます。

文字列

検討事項および制限事項

Kafka ブローカーにはインターネット上で外部からアクセスできなければなりません。