Skip To Content

使用 Snowflake 记录

可以使用 Snowflake 表中的记录作为 ArcGIS Data Pipelines 的输入。

用法说明

使用 Snowflake 时,请谨记以下信息:

  • 要使用 Snowflake 中的数据集,您必须首先创建一个数据存储项目。 数据存储项目安全地存储凭据和连接信息,以便 Data Pipelines 能够读取数据。 要创建数据存储,请按照以下“连接到 Snowflake”部分中的步骤进行操作。
  • 要更改之前配置的数据存储项目,使用数据存储项目参数移除当前选定项目,然后选择以下选项之一:
    • 添加数据存储 - 创建新数据存储项目。
    • 选择项目 - 浏览内容以选择现有数据存储项目。
  • 使用表格参数可指定要使用的数据集。 表名称区分大小写。 例如,如果表名为 MyTable,则必须使用准确的大小写指定。
  • 为了提高读取输入数据集的性能,请考虑以下选项:
    • 使用使用缓存参数存储数据集的副本。 仅在至少已连接一个打开并显示编辑器的浏览器选项卡时,缓存副本才会保留。 这样可以提高在处理过程中访问数据的速度。 如果源数据自缓存后已更新,请取消选中此参数并再次预览或运行该工具。
    • 在配置输入数据集之后,可以配置以下工具之一,以限制数据处理量:

连接到 Snowflake

要使用存储在 Snowflake 中的数据,请完成以下步骤以在 Data Pipelines 编辑器中创建数据存储项目:

  1. Data Pipelines 编辑器工具栏中,单击输入,然后选择 Snowflake

    随即显示选择数据存储连接对话框。

  2. 选择添加新数据存储
  3. 单击下一步

    随即出现添加与数据存储的连接对话框。

  4. 提供 Snowflake 账户的服务器 URL。 请注意,如果在服务器 URL 中指定 https://,则验证可能会失败。
    以下提供了一个示例:my_account.snowflakecomputing.com
  5. 选择以下身份验证类型之一:
    • 密钥对 - 输入用户名并指定为 Snowflake 用户账户配置的密钥文件 (.p8)。
    • 用户 - 提供 Snowflake 用户账户的用户名和密码。
  6. 如果您已在上一步中提供了加密密钥文件,请使用 Passcode 参数为该文件提供密码。
  7. 数据库参数中,提供相应数据库的名称,该数据库包含要连接的数据集。
  8. 方案参数中,提供用于数据库的方案名称。
  9. 仓库参数中,提供将为该连接提供计算资源的仓库的名称。
  10. 角色参数中,提供相应角色的名称,该角色用于定义连接的权限集。

    对于包含相应表格(您将从该表格中进行读取)的方案,该角色必须至少拥有 USAGECREATE STAGE 权限。

  11. 单击下一步

    随即显示项目详细信息窗格。

  12. 为新的数据存储项目提供标题。

    该标题将显示在您的内容中。 您还可以将项目存储在特定文件夹中,并提供项目标签或摘要。

  13. 单击创建连接以创建数据存储项目。

    选择数据集对话框随即出现。

  14. 提供相应表格的名称,该表格要用作数据管道中的输入数据集。
  15. 单击添加

    随即将 Snowflake 元素添加至画布。

局限性

以下为已知局限性:

  • 无法在 Data Pipelines 中使用启用了多因子身份验证 (MFA) 的用户账户。
  • 密钥对和用户是支持在 Data Pipelines 中连接到 Snowflake 的唯一身份验证类型。
  • 要使用数据存储项连接到外部数据源,您必须为数据存储项的所有者。 数据存储项目为私有项目,无法进行共享。

许可要求

需要以下许可和配置:

  • CreatorProfessional 用户类型
  • 发布者、服务商或管理员角色,或等效的自定义角色

有关 Data Pipelines 要求的详细信息,请参阅要求