Skip To Content

使用 Snowflake 记录

可以使用 Snowflake 表中的记录作为 ArcGIS Data Pipelines 的输入。

用法说明

使用 Snowflake 时,请谨记以下信息:

  • 要使用 Snowflake 中的数据集,您必须首先创建一个数据存储项目。 数据存储项目安全地存储凭据和连接信息,以便 Data Pipelines 能够读取数据。 要创建数据存储,请按照以下“连接到 Snowflake”部分中的步骤进行操作。
  • 要更改之前配置的数据存储项目,使用数据存储项目参数移除当前选定项目,然后选择以下选项之一:
    • 添加数据存储 - 创建新数据存储项目。
    • 选择项目 - 浏览内容以选择现有数据存储项目。
  • 使用表格参数可指定要使用的数据集。 表名称区分大小写。 例如,如果表名为 MyTable,则必须使用准确的大小写指定。
  • 为了提高读取输入数据集的性能,请考虑以下选项:
    • 使用使用缓存参数存储数据集的副本。 仅在至少已连接一个打开并显示编辑器的浏览器选项卡时,缓存副本才会保留。 这样可以提高在处理过程中访问数据的速度。 如果源数据自缓存后已更新,请取消选中此参数并再次预览或运行该工具。
    • 在配置输入数据集之后,可以配置以下工具之一,以限制数据处理量:

连接到 Snowflake

要使用存储在 Snowflake 中的数据,请完成以下步骤以在 Data Pipelines 编辑器中创建数据存储项目:

  1. 在 Data Pipelines 编辑器工具栏中,单击输入,然后选择 Snowflake。

    随即显示选择数据存储连接对话框。

  2. 选择添加新数据存储。
  3. 单击下一步。

    随即出现添加与数据存储的连接对话框。

  4. 提供 Snowflake 账户的服务器 URL。 请注意,如果在服务器 URL 中指定 https://,则验证可能会失败。
    以下提供了一个示例:my_account.snowflakecomputing.com。
  5. 选择以下身份验证类型之一:
    • 密钥对 - 输入用户名并指定为 Snowflake 用户账户配置的密钥文件 (.p8)。
    • 用户 - 提供 Snowflake 用户账户的用户名和密码。
  6. 如果您已在上一步中提供了加密密钥文件,请使用 Passcode 参数为该文件提供密码。
  7. 在数据库参数中,提供相应数据库的名称,该数据库包含要连接的数据集。
  8. 在方案参数中,提供用于数据库的方案名称。
  9. 在仓库参数中,提供将为该连接提供计算资源的仓库的名称。
  10. 在角色参数中,提供相应角色的名称,该角色用于定义连接的权限集。

    对于包含相应表格(您将从该表格中进行读取)的方案,该角色必须至少拥有 USAGE 和 CREATE STAGE 权限。

  11. 单击下一步。

    随即显示项目详细信息窗格。

  12. 为新的数据存储项目提供标题。

    该标题将显示在您的内容中。 您还可以将项目存储在特定文件夹中,并提供项目标签或摘要。

  13. 单击创建连接以创建数据存储项目。

    选择数据集对话框随即出现。

  14. 提供相应表格的名称,该表格要用作数据管道中的输入数据集。
  15. 单击添加。

    随即将 Snowflake 元素添加至画布。

局限性

以下为已知局限性:

  • 无法在 Data Pipelines 中使用启用了多因子身份验证 (MFA) 的用户账户。
  • 密钥对和用户是支持在 Data Pipelines 中连接到 Snowflake 的唯一身份验证类型。
  • 要使用数据存储项连接到外部数据源,您必须为数据存储项的所有者。 数据存储项目为私有项目,无法进行共享。

许可要求

需要以下许可和配置:

  • Creator 或 Professional 用户类型
  • 发布者、服务商或管理员角色,或等效的自定义角色

有关 Data Pipelines 要求的详细信息,请参阅要求。