Kafka

ArcGIS Velocity 中的 Kafka 源类型订阅并使用来自外部可访问的 Kafka 代理的消息。 Kafka 是一个开源分布式流平台,可用于执行以下操作:

  • 通过主题发布并订阅消息流。
  • 可靠地存储消息流。
  • 处理消息流。

有关 Kafka 的详细信息,请参阅 Apache Kafka 文档。

示例

以下是 Kafka 源的用例:

  • 一位数据分析师希望通过 Kafka 代理获取传感器数据。
  • 运输部门配置 Kafka 源以使用车辆位置和属性信息。

用法说明

使用 Kafka 源时,请谨记以下内容:

  • 此源类型支持与 Confluent Kafka 的连通性。
  • 切勿将单一用户组用于多个主题。 为每个主题创建一个用户组。
  • 如果存在多个用户(一个 Velocity Kafka 源为一个用户)使用单个用户组来消耗一个主题的数据,则每个用户(或源)仅可根据主题的分区数量收到部分数据。
  • 如果一个主题的用户使用同一个用户组的数量多于分区的数量,则某些用户将无法收到任何数据。
  • 不要使用 Velocity 之外的 Velocity Kafka 源引用的同一用户组。
  • 配置源连接参数后,请参阅配置输入数据以了解如何定义方案和关键参数。

参数

以下是 Kafka 源的参数:

参数描述数据类型

代理

可将以逗号分隔的 Kafka 代理列表指定为 server:port,例如 machine1.domain.com:9092,machine2.domain.com:9092

字符串

主题

Kafka 主题,其中 Velocity 将使用消息。

字符串

用户群组 ID

(可选)

Velocity 将作为成员加入的 Kafka 用户组。

字符串

身份验证

指定要用于访问 HTTP 端点的身份验证的类型。 身份验证选项为SASL/PLAINSASL/SCRAM-SHA-256SASL/SCRAM-SHA-512

字符串

使用 SSL

指定 SSL (SASL_SSL) 是否将用于连接 Kafka 代理。

注:

这应与代理在指定端口上的配置匹配。 如果设置为 false,Velocity 将通过 PLAINTEXT 连接。

布尔

用户名

用于访问 Kafka 代理的用户名。

仅当身份验证设置为 SASL/PLAINSASL/SCRAM-SHA-256SASL/SCRAM-SHA-512 时,才会应用此参数。

字符串

密码

用于访问 Kafka 代理的密码。

仅当身份验证设置为 SASL/PLAINSASL/SCRAM-SHA-256SASL/SCRAM-SHA-512 时,才会应用此参数。

字符串

注意事项和限制

必须可以通过 Internet 从外部访问 Kafka 代理。