URL

使用来自 URL 或 API 的记录作为 ArcGIS Data Pipelines 的输入。

用法说明

使用 URL 时，请谨记以下信息：

• 使用 URL 参数指定要用作数据管道输入的数据集。 仅支持 HTTP 和 HTTPS URL。
• 建议不要将 ArcGIS 要素图层和表用作 URL 输入。 应将 ArcGIS 要素图层添加至您的内容，然后将其用作要素图层输入。 有关将要素图层添加至您的内容的方法，请参阅从 URL 添加服务或文档。
• 此 URL 需要身份验证 (Beta) 参数用于确定 URL 是否需要身份验证才能访问数据（已启用），或者数据是否可公开访问（已禁用）。 此参数目前处于测试阶段。
• 要从需要身份验证的 URL 加载数据，必须首先创建服务连接项目。 服务连接项目可安全地存储凭据和密码，这些内容将包含在对 URL 的请求中。 要创建服务连接，请按照以下“连接到需要身份验证的 URL”部分中的步骤进行操作。 此功能目前处于测试阶段。
• 要更改之前配置的服务连接项目，请使用服务连接 (Beta) 参数移除当前选定项目，然后选择以下选项之一：
  • 添加连接 - 创建服务连接项目。
  • 选择项目 - 浏览内容以选择现有服务连接项目。
  此参数目前处于测试阶段。
• 可以使用自定义标头 (Beta) 参数指定应在 URL 请求中发送的标头的名称和值。 例如，API 可能需要设置为特定值的标头 Content-type。 建议不要指定凭据或密码作为标头。 凭据和密码应存储在服务连接项目中。 此参数目前处于测试阶段。
• 可以使用响应格式参数以指定从 URL 返回的数据的格式。 以下格式选项可用：
  • CSV 或分隔文件（例如，.csv、.tsv 和 .txt）
  • JSON (.json)
  • GeoJSON(.geojson)
  • Parquet (.parquet)
  • GeoParquet (.parquet)
• 如果指定了 CSV 或分隔格式选项，则可以使用以下数据集定义参数：
  • 分隔符 - 用于分割字段（或列）和记录（或行）值的分隔符。 可从以下选项中进行选择或者输入您自己的值：
    • 逗号 (,) - 字段和记录值以逗号 (,) 分隔。 这是默认设置。
    • Tab (\t) - 字段和记录值以 Tab (\t) 分隔。
    • 管道符 (|) - 字段和记录以管道符 (|) 分隔。
    • 分号 (;) - 字段和记录值以分号 (;) 分隔。
    • 空格符 ( ) - 字段和记录值以空格符 ( ) 分隔。
    如果您输入自己的值，其长度必须为一个或两个字符（包括空格）。 不支持长度超过两个字符的分隔符。
  • 具有标题行 - 指定数据集是否包含标题行。 默认为 true。 如果设置为 false，则将数据集的第一行视为一条记录。
  • 包含多行数据 - 指定数据集是否具有包含换行符的记录。 默认为 false。 如果设置为 true，将正确读取和格式化包含多行数据的数据。
  • 字符编码 - 指定用于读取指定数据集的编码类型。 默认值为 UTF-8。 您可以从可用的编码选项中进行选择，或指定一种编码类型。 编码值不支持空格。 例如，指定 ISO 8859-8 值是无效的，必须指定为 ISO-8859-8。
• 当数据格式值为 CSV 或分隔值时，可以使用字段来配置字段名称和类型。 配置方案按钮可打开一个对话框，其中包含数据集字段，并提供以下选项：
  • 包括或删除字段 - 可以通过选中字段旁边的复选框来移除字段。 默认情况下，包含所有字段。
  • 字段名称 - 字段在 Data Pipelines 中将使用的名称。 可以编辑此值。 默认情况下，此值将与源数据集中的字段相同，除非源名称包含无效字符或为保留字。 无效字符将替换为下划线 (_)，保留字将以下划线 (_) 为前缀。
  • 字段类型 - 将在 Data Pipelines 中使用的字段类型。

  在 Data Pipelines 中移除或修改字段将不会修改源数据。

  下表介绍了可用字段类型：

  字段类型	描述
  字符串	字符串字段支持文本字符串。
  短整型	小整型字段支持介于 -32768 和 32767 之间的整数。
  整型	整型字段支持介于 -2147483648 和 2147483647 之间的整数。
  大整数	大整型字段支持介于 -9223372036854776000 和 9223372036854776000 之间的整数。
  浮点型	浮点型字段支持介于大约 -3.4E38 和 3.4E38 之间的小数。
  双精度	双精度型字段支持介于大约 -2.2E308 和 1.8E308 之间的小数。
  日期	日期字段支持格式为 yyyy-MM-dd HH:mm:ss 的值，例如 2025-12-31 13:30:30 为有效值。 如果日期值以其他格式存储，则使用创建日期时间工具计算日期字段。
  仅日期	日期字段支持格式为 yyyy-MM-dd 的值，例如 2025-12-31 为有效值。 如果仅日期值以其他格式存储，请使用这些值作为计算字段工具的输入以计算仅日期字段。
  布尔	布尔字段支持 True 和 False 值。 如果字段包含布尔值的整数表示（0 和 1），请使用更新字段工具将整数转换为布尔值。

• 如果指定了 JSON 格式选项，则可以使用根属性参数。 可使用此参数在 JSON 中指定要从中读取数据的属性。 可通过在每个属性之间使用小数点分隔符引用嵌套属性，例如 property.subProperty。 默认将读取整个 JSON 文件。
• 如果指定了 GeoJSON 格式选项，则可以使用 Geometry 类型参数。 设置此参数属于可选操作。 默认情况下，将使用 GeoJSON 文件中的几何类型。 如果 GeoJSON 文件包含多个几何类型，则必须指定此参数值。 不支持混合几何类型，仅可使用指定的类型。 选项包含点、多点、折线和面。 包含 GeoJSON 数据位置的几何字段将自动计算并添加到输入数据集中。 几何字段可用作空间操作的输入或在输出结果上启用几何。
• 为了提高读取输入数据集的性能，请考虑以下选项：
  • 使用使用缓存参数存储数据集的副本。 仅在至少已连接一个打开并显示编辑器的浏览器选项卡时，缓存副本才会保留。 这样可以提高在处理过程中访问数据的速度。 如果源数据自缓存后已更新，请取消选中此参数并再次预览或运行该工具。
  • 在配置输入数据集之后，可以配置以下工具之一，以限制数据处理量：
    • 按属性过滤 - 维护包含特定属性值的记录子集。
    • 按范围过滤 - 维护特定空间范围内的记录子集。
    • 选择字段 - 仅维护感兴趣的字段。
    • 裁剪 - 保留与特定几何相交的记录子集。

连接到需要身份验证的 URL (Beta)

要对安全 URL 进行身份验证，请完成以下步骤以在 Data Pipelines 编辑器中创建服务连接项目：

1. 在 Data Pipelines 编辑器工具栏中，单击输入，然后选择 URL。

   添加 URL 对话框随即出现。

2. 在 URL 参数中，提供数据集的 URL，其中包括前导 https://。
3. 可以使用响应格式参数以指定从 URL 返回的数据集的格式。
4. 启用此 URL 需要身份验证 (Beta) 选项。
5. 选择添加新的服务连接。
6. 单击下一步。

   添加服务连接对话框随即出现。

7. 在基础 URL 参数中，提供服务连接将向其发送凭据或密码的域名。
8. 从身份验证类型下拉菜单中选择以下选项之一：
   • API 密钥 - 需要将用作标头值或查询参数的 API 密钥。
   • 基础 - 需要用户名和密码。
9. 提供身份验证参数的值。 使用对话框底部的预览以确认格式符合 URL 的要求。

   如果您已在上一步中指定 API 密钥，请提供以下身份验证参数：

   • 参数位置 - 指定是在标头中发送 API 密钥，还是在查询参数中发送 API 密钥。
   • 参数名称 - 指定标头或查询参数的名称。
   • API 密钥 - 指定 API 密钥。
   • API 密钥前缀（可选）- 指定要在 API 密钥前面追加的值，例如“Bearer”。 设置此参数属于可选操作。

10. 单击下一步。

    随即显示项目详细信息窗格。

11. 为新的服务连接项目提供标题。

    该标题将显示在您的内容中。 您还可以将项目存储在特定文件夹中，并提供项目标签或摘要。

12. 单击保存以创建服务连接项目。

    随即将 URL 元素添加至画布。

局限性

以下为已知局限性：

• 如果您的组织已阻止测试版应用程序和功能，则无法访问以下参数：
  • 此 URL 需要身份验证 (Beta)
  • 服务连接 (Beta)
  • 自定义标头 (Beta)
  这些功能目前处于测试阶段。 如果您正在使用这些参数，请通过 Data Pipelines 社区中的测试版功能反馈论坛分享您的经验并寻求支持。
• 如果指定的 URL 使用无效的 HTTPS 证书或者它没有响应，则不能将数据集用作 Data Pipelines 的输入。
• 如果无法在 Data Pipelines 中读取指定 URL，但可以直接从中下载数据，请尝试使用已下载数据作为文件工具的输入。
• 自定义 IP 地址不能用于 URL。 仅支持域名。
• 不支持使用 arcgis.com 域的 URL。 不使用 ArcGIS URL 作为输入，而是使用文件或要素图层输入工具。
• 不支持自定义端口。
• 不支持将某些标头值作为自定义标头 (Beta) 参数的输入，其中包括 Authorization 标头。 有关如何安全地存储密码的信息，请参阅“连接到需要身份验证的 URL”部分。
• 不支持重定向的 URL。

  在 Data Pipelines 社区中了解有关诊断 URL 重定向的详细信息

• 不支持 Esri JSON 文件 (.esrijson)。
• 如果数据集包含带空格或无效字符的字段名称，名称会自动更新为使用下划线。 例如，名为 Population 2022 的字段将重命名为 Population_2022，名为 %Employed 的字段将重命名为 _Employed。
• 要使用服务连接项目连接到需要身份验证的 URL，您必须为该项目的所有者。 服务连接项目为私有项目，无法进行共享。

相关主题

有关详细信息，请参阅数据集配置。