使用深度学习提取实体 (GeoAI)

摘要

用于在文件夹中的文本文件上运行经过训练的指定实体识别器模型,以提取表中的实体和位置(例如地址、地点名称或人名、日期和货币值)。 如果所提取的实体包含地址,则该工具将使用指定的定位器对地址进行地理编码并生成要素类作为输出。

了解有关“实体识别”工作原理的详细信息

使用情况

  • 该工具要求安装深度学习框架。 要设置计算机以在 ArcGIS AllSource 中使用深度学习框架,请参阅安装 ArcGIS 的深度学习框架

  • 该工具需要包含经过训练的模型信息的模型定义文件。 该模型可以使用训练文本分类模型工具进行训练。 输入模型定义文件参数值可以是 Esri 模型定义 JSON 文件 (.emd) 或深度学习模型包 (.dlpk)。 模型文件必须存储在本地或者托管在 ArcGIS Living Atlas 上。

  • 该工具可以在 CPU 或 GPU 上运行。 但是,由于深度学习计算成本非常高,因此建议使用 GPU。 要使用 GPU 运行此工具,请将处理器类型环境设置为 GPU。 如果您具有多个 GPU,还可以指定 GPU ID 环境

  • 有关运行此工具的要求以及您可能遇到的问题的信息,请参阅深度学习常见问题

参数

标注说明数据类型
输入文件夹

包含待执行已命名实体提取的文本文件的文件夹。

Folder
输出表

将包含已提取实体的输出要素类或表。 如果提供了定位器且模型提取了地址,则系统将通过对已提取地址进行地理编码来生成要素类。

Feature Class; Table
输入模型定义文件

将用于分类的训练模型。 模型定义文件可以是 Esri 模型定义 JSON 文件(.emd),也可以是存储在本地或者托管在 ArcGIS Living Atlas (.dlpk_remote) 的深度学习模型包 (.dlpk)。

File
模型参数
(可选)

将使用其他参数(例如,置信度阈值)调整模型的灵敏度。

将使用该工具填充参数名称。

Value Table
批大小
(可选)

一次需要处理的训练样本数。 默认值为 4。

增加批处理大小可以提高工具性能;但是,随着批处理大小的增加,会占用更多内存。 如果发生内存不足错误,请使用较小的批处理大小。

Double
位置区域
(可选)

预计地址所在的地理区域或地区。 指定的文本将被追加到模型所提取的地址中。

定位器将使用位置区域信息来识别地址所在的地区或地理区域并生成更理想的结果。

String
输入定位器
(可选)

将用于对输入文本文档中发现的地址进行地理编码的定位器。 将为成功进行地理编码并存储在输出要素类中的每个地址生成一个点。

Address Locator

arcpy.geoai.ExtractEntitiesUsingDeepLearning(in_folder, out_table, in_model_definition_file, {model_arguments}, {batch_size}, {location_zone}, {in_locator})
名称说明数据类型
in_folder

包含待执行已命名实体提取的文本文件的文件夹。

Folder
out_table

将包含已提取实体的输出要素类或表。 如果提供了定位器且模型提取了地址,则系统将通过对已提取地址进行地理编码来生成要素类。

Feature Class; Table
in_model_definition_file

将用于分类的训练模型。 模型定义文件可以是 Esri 模型定义 JSON 文件(.emd),也可以是存储在本地或者托管在 ArcGIS Living Atlas (.dlpk_remote) 的深度学习模型包 (.dlpk)。

File
model_arguments
[model_arguments,...]
(可选)

将使用其他参数(例如,置信度阈值)调整模型的灵敏度。

将使用该工具填充参数名称。

Value Table
batch_size
(可选)

一次需要处理的训练样本数。 默认值为 4。

增加批处理大小可以提高工具性能;但是,随着批处理大小的增加,会占用更多内存。 如果发生内存不足错误,请使用较小的批处理大小。

Double
location_zone
(可选)

预计地址所在的地理区域或地区。 指定的文本将被追加到模型所提取的地址中。

定位器将使用位置区域信息来识别地址所在的地区或地理区域并生成更理想的结果。

String
in_locator
(可选)

将用于对输入文本文档中发现的地址进行地理编码的定位器。 将为成功进行地理编码并存储在输出要素类中的每个地址生成一个点。

Address Locator

代码示例

ExtractEntitiesUsingDeepLearning(Python 窗口)

以下 Python 窗口脚本演示了如何使用 ExtractEntitiesUsingDeepLearning 函数。

# Name: ExtractEntities.py
# Description: Extract useful entities like "Address", "Date" from text.  
#
# Requirements: ArcGIS Pro Advanced license

# Import system modules
import arcpy
import os

arcpy.env.workspace = "C:/textanalysisexamples/data"
dbpath = "C:/textanalysisexamples/Text_analysis_tools.gdb"

# Set local variables
in_folder = 'test_data'
out_table = os.path.join(dbpath, "ExtractedEntities")

pretrained_model_path_emd = "c:\\extractentities\\EntityRecognizer.emd"

# Run Extract Entities Using Deep Learning
arcpy.geoai.ExtractEntitiesUsingDeepLearning(in_folder, out_table, pretrained_model_path_emd)