提供了有关 ArcGIS Data Pipelines 的常见问题的答案。
- 什么是 ArcGIS Data Pipelines?
- Data Pipelines 是否消耗配额?
- Data Pipelines 是否可用于 ArcGIS Enterprise?
- 如何访问 Data Pipelines?
- 如何开始 Data Pipelines?
- 可以使用 Data Pipelines 中的哪些数据?
- 是否可以使用 ArcGIS Living Atlas 图层作为数据管道的输入?
- 是否可以连接到 Google Cloud 平台上的数据集?
- 我的数据已在其源位置更新。 如何在我的数据管道中同步我的数据集?
- 可以将我的 Data Pipelines 结果存储在何处? 是否可以将它们存储在 Amazon S3?
- 可以使用 Data Pipelines 将多少要素写入要素图层或表?
- 是否可以使用 Data Pipelines 对地址进行地理编码?
- 未来版本中会包括哪些工具?
- 是否可以共享数据管道?
- 是否可以在 Data Pipelines 编辑器中执行撤消或重做操作?
- 是否可以在逻辑示意图中复制和粘贴元素?
- 是否可以计划数据管道?
- Data Pipelines 与 ArcGIS Velocity 存在哪些差异?
- Data Pipelines 与 ArcGIS Data Interoperability 存在哪些差异?
- Map Viewer 中的 Data Pipelines 与 ModelBuilder 存在哪些差异?
- 我是新组织中的一位用户,无法访问 Data Pipelines。 如何解决这一问题?
是。 配额消耗基于计算资源使用时间。 有关详细信息,请参阅计算资源。
计算资源处于活动状态时会消耗配额。 计算资源将在以下情况下处于活动状态:
- 交互式编辑 - 如果连接状态为已连接,则在编辑器中创作或编辑数据管道时,将会消耗配额。 配额比率为 50 个配额/小时,按每分钟进行计算,最小值为 10 分钟。
- 作业 - 当您使用 ArcGIS API for Python 运行数据管道,或者使用 Data Pipelines 库页面中的运行选项时,将为计划的数据管道任务运行作业。 作业仅在数据管道运行时消耗配额。 每次运行将按完成运行所需的时间消耗配额,每小时 70 个配额,按每分钟计算。 对于作业,没有最低配额。
- 使用连接详细信息对话框中的“断开所有连接”按钮后。 由此将断开所有已连接的编辑器并且不会消耗配额,直到至少重新连接一个编辑器为止。
- 在包含已连接编辑器的所有浏览器选项卡关闭至少 10 分钟之后。 在这 10 分钟内不会消耗配额。
- 所有编辑器浏览器选项卡处于非活动状态 30 分钟后。 状态将为离线。
- 计划数据管道任务运行完成时。
- 当使用 ArcGIS API for Python 的数据管道运行完成时。
要开始使用 Data Pipelines,请参阅教程:创建数据管道。 该教程概述了使用 Data Pipelines 的关键组件,包括连接和处理数据、运行数据管道等。
有关入门的更多资源,请参阅 Data Pipelines 社区博客文章。
是。 您可以使用 ArcGIS Living Atlas 要素图层作为输入。 要向逻辑示意图添加图层,请参阅要素图层。 默认情况下,要素图层浏览对话框打开至我的内容。 要搜索 ArcGIS Living Atlas 图层,请切换到对话框中的 Living Atlas。
否,目前不可以。 在未来的版本中,将支持以下额外类型的外部数据源:
- Google Cloud 平台
- Microsoft Azure Cosmos DB for PostgreSQL
- API 请求返回的数据
不保证此列表中的数据源适用于特定版本,并且可能会添加此处未列出的数据源。 如果您对可改进工作流的数据源有任何建议,请在 Data Pipelines 社区论坛中发表评论。
未来版本中可能包含以下工具:
- 查找和替换 - 在字段中搜索特定值并将其替换为新值。
- 地理编码地址 - 使用表或文件中的字符串地址返回地理编码结果。
不保证此列表中的工具适用于任何版本,并且可能会添加此处未列出的工具。 如果您对可改进工作流的工具有任何建议,请在 Data Pipelines 社区论坛中发表评论。
是。 您可以与组织中的群组或公众共享数据管道项目。 仅项目所有者才能编辑数据管道项目。 使用共享更新群组,以便群组中的所有人都可以编辑和保存数据管道。 如果数据管道与没有共享更新功能的组共享,可以使用编辑器工具栏上的另存为选项将数据管道另存为内容中的可编辑副本。
是。 可以为数据管道项目创建任务,以按计划运行工作流。 有关创建数据管道任务的详细信息,请参阅计划数据管道。
在 ArcGIS Online 中,Data Pipelines 和 Velocity 有一些相似之处。 两个应用程序均支持连接到外部数据源,并将数据导入 ArcGIS Online 以用于 ArcGIS 系统。 然而,它们服务于不同的用途。 Velocity 专为实时数据和大数据处理而设计,可高效处理来自传感器和相似源的高速数据流。 它还专注于实现设备追踪、事件检测和模式分析等分析功能。 Data Pipelines 主要是一款数据集成应用程序,它聚焦于数据工程任务,尤其适用于不基于传感器的数据流。 Velocity 用于处理实时数据,而 Data Pipelines 则用于管理和优化不太需要频繁更新的数据。
Map Viewer 中的 ModelBuilder 和 Data Pipelines 的相似之处在于,它们都为在 web 中创作可重复的工作流提供了低代码、拖放式的用户体验。 但是,二者之间也存在一些关键区别:
- ModelBuilder 可用于自动化分析工作流,由此利用 Map Viewer 中提供的分析工具;Data Pipelines 可用于自动化数据集成和准备工作流,并且包含专门用于清理、格式化和准备数据以进行可视化和下游分析的工具。
- ModelBuilder 支持要素图层和表格。 另一方面,Data Pipelines 支持来自各种源的矢量和表格数据,其中包括 Amazon S3、Microsoft Azure Storage、Google BigQuery、Snowflake、要素图层、上传的本地文件以及直接从 URL 读取的数据。
- ModelBuilder 是包含在 ArcGIS Online Map Viewer 中并集成到 Map Viewer 分析中的一项功能;Data Pipelines 是一个独立于 Map Viewer 使用的应用程序。
在至少发布一个要素图层之前,将不会在您的组织中设置 Data Pipelines 服务。 这与诸如空间分析、notebook 等其他服务的行为相同。 要解决此问题,请导航至您的内容并创建要素图层。 需要针对每个组织,而非每个用户执行一次此操作。 如果发布要素图层后问题仍然存在,请联系 Esri 技术支持。