Amazon S3

Amazon S3 源将从存储在 Amazon S3 存储段中的文件中读取记录,并在 ArcGIS Velocity 中执行分析。

示例

以下是 Amazon S3 源的用例:

  • 一位研究人员希望将 Amazon S3 存储段中的数百个分隔文本文件加载到 Velocity 中以执行分析。
  • GIS 部门将常用的边界 shapefile 存储在 Amazon S3 存储段中,并希望将县边界 shapefile 作为聚合边界加载到 Velocity 中。

用法说明

使用 Amazon S3 源时,请谨记以下信息:

  • Amazon S3 存储段中,通过数据集参数中指定的命名模式标识的所有文件必须具有相同的方案和几何类型。 如果为数据集参数指定一个文件夹名称,则目录中的所有文件必须具有相同的文件类型和方案。
  • 密钥将在首次保存分析时加密,并以加密状态存储。
  • 指定文件夹路径时,请使用正斜线(/)。
  • 配置源连接属性后,请参阅配置输入数据以了解如何定义方案和关键属性。
  • 当使用公共访问模式通过 Velocity 连接到公共 Amazon S3 存储段时,公共 Amazon S3 存储段必须在存储段访问控制列表下将 List 操作授予给所有人(公共访问)
  • 对于与提供的 Amazon 密钥相关联的用户策略,需要执行特定 Amazon S3 操作,才能使 Velocity 成功连接到 Amazon S3 存储段以及提供的存储段和文件夹路径中的数据。
    • 对于指定的存储段,需要执行 s3:ListBucket 操作。
    • 在指定文件夹路径和子资源 (arn:aws:s3:::yourBucketName/*) 上,需要执行 s3:GetObject 操作,以便 Amazon S3 源读取数据。

参数

参数描述数据类型

访问密钥

S3 存储段的 Amazon 访问密钥 ID,例如 AKIAIOSFODNN7EXAMPLE

Velocity 将使用访问密钥将指定的数据源加载到应用程序中。

有关 Amazon 访问密钥的详细信息,请参阅 AWS 文档中的使用您的 AWS 凭证访问 AWS

字符串

密钥

S3 存储段的 Amazon 保密访问密钥,例如 wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

Velocity 将使用访问密钥将指定的数据源加载到应用程序中。

密钥将在首次保存分析时加密,并以加密状态存储。

有关 Amazon 机密访问密钥的详细信息,请参阅 AWS 文档中的使用您的 AWS 凭证访问 AWS

字符串

S3 存储段名称

包含要读取文件的 Amazon S3 存储段的名称。

字符串

文件夹路径

包含要加载到 Velocity 中的文件的文件夹的文件夹路径。

  • 如果要从 Amazon S3 存储段的根级别加载文件,请输入一个正斜线 (/)。
  • 如果要从 Amazon S3 存储段中的文件夹加载文件,请输入一个正斜线,后跟文件夹的路径,例如 /gis_data_folder/folder_containing_desired_dataset

字符串

数据集

加载单个文件时要读取的文件名,或指示一组文件的模式,后跟文件类型扩展名。

要构建一个指示一组文件的模式,可将星号 (*) 单独作为通配符或与部分文件名一起使用。

命名模式标识的所有文件必须具有相同的方案和几何类型。

或者,如果加载多个文件或嵌套文件夹,也可以将包含文件的文件夹名称指定为数据集名称,而不是具有扩展名的文件名。 如果指定包含文件的文件夹名称作为数据集,则无法使用通配符或限制文件类型。 系统将获取指定文件夹中的所有文件,这些文件应全部具有相同的文件类型。

以下为示例:

  • 文件夹中的单个文件 - filename.csv
  • 文件夹中的所有文件 - *.shp
  • 选择文件夹中的文件 - sensor_data_201*.json
  • 目录或多个目录(子目录)的目录中的所有文件: - containingFolderName

字符串

仅加载最新文件

指定 Amazon S3 源将加载所有文件,还是仅加载自上次分析运行以来创建或修改的文件。

  • 默认值为 false,这意味着每次运行分析时,都会加载指定存储段和路径中具有所提供数据集名称的所有文件。
  • 设置为 true 时,每次运行分析时,将仅加载经过修改或创建的文件。

对于计划大数据分析,参数只能设置为 true

首次在参数设置为 true 的情况下运行计划大数据分析时,大数据分析不会加载任何文件,分析运行便会完成。 后续分析运行将加载具有自该分析上次计划运行以来的最后修改日期的文件。

布尔

注意事项和限制

使用 Amazon S3 源时,需要牢记几点注意事项:

  • Amazon S3 存储段中,通过数据集属性中的命名模式标识的所有文件必须具有相同的方案和几何类型。
  • Amazon S3Azure Blob 存储当前不支持使用由根节点引用的对象数组来获取 JSON。