Skip To Content

常见问题解答

提供了有关 ArcGIS Data Pipelines 的常见问题的答案。

什么是 ArcGIS Data Pipelines

Data Pipelines 是一个 ArcGIS Online 应用程序,支持连接、处理和整合来自各种源的数据。 您可以执行数据准备并将结果保存到您的 Web GIS 以完成您组织的工作流。 所有这些内容都可以通过单个直观的界面完成,您可以在其中构建、运行、保存、共享和重现您的数据准备工作流。

Data Pipelines 是否消耗配额?

是。 配额消耗基于计算资源使用时间。 有关详细信息,请参阅计算资源

计算资源处于活动状态时会消耗配额。 计算资源将在以下情况下处于活动状态:

  • 交互式编辑 - 如果连接状态为已连接,则在编辑器中创作或编辑数据管道时,将会消耗配额。 配额比率为 50 个配额/小时,按每分钟进行计算,最小值为 10 分钟。
  • 作业 - 当您使用 ArcGIS API for Python 运行数据管道,或者使用 Data Pipelines 库页面中的运行选项时,将为计划的数据管道任务运行作业。 作业仅在数据管道运行时消耗配额。 每次运行将按完成运行所需的时间消耗配额,每小时 70 个配额,按每分钟计算。 对于作业,没有最低配额。
当计算资源停止时,将不再消耗配额。 在以下情况下将停止计算资源:
  • 使用连接详细信息对话框中的“断开所有连接”按钮后。 由此将断开所有已连接的编辑器并且不会消耗配额,直到至少重新连接一个编辑器为止。
  • 在包含已连接编辑器的所有浏览器选项卡关闭至少 10 分钟之后。 在这 10 分钟内不会消耗配额。
  • 所有编辑器浏览器选项卡处于非活动状态 30 分钟后。 状态将为离线
  • 计划数据管道任务运行完成时。
  • 当使用 ArcGIS API for Python 的数据管道运行完成时。
有关 ArcGIS Online 中配额的详细信息,请参阅了解配额

Data Pipelines 是否可用于 ArcGIS Enterprise

否。Data Pipelines 仅在 ArcGIS Online 中提供。Data Pipelines 可能在未来版本的 ArcGIS Enterprise 中提供,但对此无法保证。

如何访问 Data Pipelines

可使用应用程序启动器并选择 Data Pipelines 访问 Data Pipelines

要访问 Data Pipelines,用户账户必须具有所需权限。 有关访问 Data Pipelines 所需的权限和要求的详细信息,请参阅要求

如果不确定您或您的组织是否满足上述要求,请联系您的组织管理员。

如何开始 Data Pipelines

要开始使用 Data Pipelines,请参阅教程:创建数据管道。 该教程概述了使用 Data Pipelines 的关键组件,包括连接和处理数据、运行数据管道等。

有关入门的更多资源,请参阅 Data Pipelines 社区博客文章

可以使用 Data Pipelines 中的哪些数据?

支持以下类型的数据作为输入:

有关支持的文件类型以及如何连接到输入数据集的详细信息,请参阅链接的输入数据类型文档。

是否可以使用 ArcGIS Living Atlas 图层作为数据管道的输入?

是。 您可以使用 ArcGIS Living Atlas 要素图层作为输入。 要向逻辑示意图添加图层,请参阅要素图层。 默认情况下,要素图层浏览对话框打开至我的内容。 要搜索 ArcGIS Living Atlas 图层,请切换到对话框中的 Living Atlas

是否可以连接到 Google Cloud 平台上的数据集?

否,目前不可以。 在未来的版本中,将支持以下额外类型的外部数据源:

  • Google Cloud 平台
  • Microsoft Azure Cosmos DB for PostgreSQL
  • API 请求返回的数据

不保证此列表中的数据源适用于特定版本,并且可能会添加此处未列出的数据源。 如果您对可改进工作流的数据源有任何建议,请在 Data Pipelines 社区论坛中发表评论。

我的数据已在其源位置更新。 如何在我的数据管道中同步我的数据集?

如果数据在源位置是定期更新的,并且您希望在数据管道中使用它,建议不要使用输入的使用缓存参数。 如果不使用缓存,每次请求预览或运行时,Data Pipelines 都会读取最新的数据。 如果使用缓存,则仅使用缓存时可用的数据。

如果创建了输出要素图层并需要使用最新数据进行更新,请使用要素图层工具中的替换添加并更新选项,并再次运行数据管道。 您可以通过为数据管道项目计划任务来自动重新运行数据管道。 有关自动运行数据管道工作流的详细信息,请参阅计划数据管道任务

可以将我的 Data Pipelines 结果存储在何处? 是否可以将它们存储在 Amazon S3

否。 Data Pipelines 当前仅支持的要素图层输出格式。 您不能将结果写入其他格式存储容器,包括 Amazon S3Data Pipelines 仅可从您的 S3 存储容器中读取。

了解有关 Data Pipelines 中输出要素图层的详细信息

可以使用 Data Pipelines 将多少要素写入要素图层或表?

对于多达数十万条记录,写入要素图层时性能最高。 您可以尝试写入更多记录,但性能会因几何复杂性或字段数量等因素而异。

是否可以使用 Data Pipelines 对地址进行地理编码?

否,目前不可以。 此功能计划在未来版本中提供。

未来版本中会包括哪些工具?

未来版本中可能包含以下工具:

  • 查找和替换 - 在字段中搜索特定值并将其替换为新值。
  • 地理编码地址 - 使用表或文件中的字符串地址返回地理编码结果。

不保证此列表中的工具适用于任何版本,并且可能会添加此处未列出的工具。 如果您对可改进工作流的工具有任何建议,请在 Data Pipelines 社区论坛中发表评论。

是否可以共享数据管道?

是。 您可以与组织中的群组或公众共享数据管道项目。 仅项目所有者才能编辑数据管道项目。 使用共享更新群组,以便群组中的所有人都可以编辑和保存数据管道。 如果数据管道与没有共享更新功能的组共享,可以使用编辑器工具栏上的另存为选项将数据管道另存为内容中的可编辑副本。

是否可以在 Data Pipelines 编辑器中执行撤消或重做操作?

否,目前不可以。 撤消和重做当前不支持编辑器的操作。 未来的版本中将添加这些操作。

是否可以在逻辑示意图中复制和粘贴元素?

是。 您可以使用命令键来剪切 (Ctrl+X)、复制 (Ctrl+C)、粘贴 (Ctrl+V) 和删除 (Delete) 元素。 选择元素,并使用命令键完成操作。

是否可以计划数据管道?

是。 可以为数据管道项目创建任务,以按计划运行工作流。 有关创建数据管道任务的详细信息,请参阅计划数据管道

Data PipelinesArcGIS Velocity 存在哪些差异?

ArcGIS Online 中,Data PipelinesVelocity 有一些相似之处。 两个应用程序均支持连接到外部数据源,并将数据导入 ArcGIS Online 以用于 ArcGIS 系统。 然而,它们服务于不同的用途。 Velocity 专为实时数据和大数据处理而设计,可高效处理来自传感器和相似源的高速数据流。 它还专注于实现设备追踪、事件检测和模式分析等分析功能。 Data Pipelines 主要是一款数据集成应用程序,它聚焦于数据工程任务,尤其适用于不基于传感器的数据流。 Velocity 用于处理实时数据,而 Data Pipelines 则用于管理和优化不太需要频繁更新的数据。

Data PipelinesArcGIS Data Interoperability 存在哪些差异?

二者均为 ArcGIS 的 ETL 工具,支持数据集成、转换和清理。 但是,不同之处在于 Data Pipelines 是可在 ArcGIS Online 中立即使用的基于 Web 的应用程序,而 Data InteroperabilityArcGIS Pro 的扩展模块,需要单独许可证和安装。 Data Pipelines 侧重于 ArcGIS Online 的数据集成,结果将写出到托管要素图层,而 Data Interoperability 支持较大的受支持输入和文件类型集,并且能够将结果重新写入源。

Map Viewer 中的 Data PipelinesModelBuilder 存在哪些差异?

Map Viewer 中的 ModelBuilderData Pipelines 的相似之处在于,它们都为在 web 中创作可重复的工作流提供了低代码、拖放式的用户体验。 但是,二者之间也存在一些关键区别:

  • ModelBuilder 可用于自动化分析工作流,由此利用 Map Viewer 中提供的分析工具;Data Pipelines 可用于自动化数据集成和准备工作流,并且包含专门用于清理、格式化和准备数据以进行可视化和下游分析的工具。
  • ModelBuilder 支持要素图层和表格。 另一方面,Data Pipelines 支持来自各种源的矢量和表格数据,其中包括 Amazon S3Microsoft Azure Storage、Google BigQuerySnowflake、要素图层、上传的本地文件以及直接从 URL 读取的数据。
  • ModelBuilder 是包含在 ArcGIS Online Map Viewer 中并集成到 Map Viewer 分析中的一项功能;Data Pipelines 是一个独立于 Map Viewer 使用的应用程序。

我是新组织中的一位用户,无法访问 Data Pipelines。 如何解决这一问题?

在至少发布一个要素图层之前,将不会在您的组织中设置 Data Pipelines 服务。 这与诸如空间分析、notebook 等其他服务的行为相同。 要解决此问题,请导航至您的内容并创建要素图层。 需要针对每个组织,而非每个用户执行一次此操作。 如果发布要素图层后问题仍然存在,请联系 Esri 技术支持