分割模型通过将像素分类为不同的类来执行像素级分类。 已分类像素对应于图像中的不同对象或区域。 这些模型具有跨多个领域的各种用例。 当与卫星和航空影像配合使用时,这些模型可帮助标识诸如建筑物覆盖区、道路、水体、农田等要素。
一般来说,每个分割模型都必须使用标有感兴趣对象的数据集从头开始训练。 这可能是一项艰巨且耗时的任务。 Meta AI 的 Segment Anything Model (SAM) 旨在创建一个基础模型,借助该模型,可以使用零样本学习来分割任何事物并跨领域进行概化,无需额外的训练。
SAM 在 Segment Anything 1-Billion mask dataset (SA-1B) 上进行训练,该数据集包含 1100 万张图像和超过 10 亿个掩码的不同集合。 由此使得模型在标识对象边界以及区分跨域的各种对象方面具有高度鲁棒性,即使该模型以前可能从未见过它们也是如此。 可以使用该模型来提取任何图像中各种对象的掩码。
许可要求
要完成此工作流,需满足以下许可要求:
- ArcGIS Desktop - ArcGIS Pro 的 ArcGIS Image Analyst 扩展模块
- ArcGIS Enterprise - ArcGIS Image Server
- ArcGIS Online - ArcGIS Image for ArcGIS Online
模型详细信息
此模型具有以下特征:
- 输入 - 8 位三波段影像。
- 输出 - 包含图像中各种对象的掩码的要素类。
- 计算 - 此为计算密集型工作流,建议使用 CUDA 计算能力不低于 6.0 的 GPU。 此模型需要至少具有 8 GB GPU 内存的 GPU。
- 适用地理位置 - 该模型预计适用于全球。
- 架构 - 该模型基于 Meta AI 的开源 Segment Anything Model (SAM)。
访问和下载模型
从 ArcGIS Living Atlas of the World 下载 Segment Anything Model (SAM) 预训练模型。 也可以在 ArcGIS Pro 中通过使用深度学习检测对象工具直接访问模型,或在 ArcGIS Image for ArcGIS Online 中使用模型。
- 浏览至 ArcGIS Living Atlas of the World。
- 使用您的 ArcGIS Online 凭据进行登录。
- 搜索 Segment Anything Model,然后从搜索结果中打开项目页面。
- 单击下载按钮以下载模型。
您可以在 ArcGIS Pro 中直接使用下载的 .dlpk 文件,或者在 ArcGIS Enterprise 中上传并使用文件。 还可以根据需要微调预训练模型。
发布说明
以下为发布说明:
日期 | 描述 |
---|---|
2023 年 5 月 |
Segment Anything Model (SAM) 第一版发布 |