词元广场TOKPUB.COM - 欢迎您，支持一个 Key 调用近 600+ 海内外模型，限时特价模型低至 1 折，欢迎上岸！
"Segment Anything Model — SAM：通过点、框、掩码实现零样本图像分割"
Segment Anything Model
Skill 元数据
| 来源 | 内置（默认安装） |
| 路径 | skills/mlops/models/segment-anything |
| 版本 | 1.0.0 |
| 作者 | Orchestra Research |
| 许可证 | MIT |
| 依赖项 | segment-anything, transformers>=4.30.0, torch>=1.7.0 |
| 平台 | linux, macos, windows |
| 标签 | Multimodal, Image Segmentation, Computer Vision, SAM, Zero-Shot |
参考：完整 SKILL.md
信息
Segment Anything Model (SAM)
何时使用 SAM
快速开始
安装
下载检查点
使用 SamPredictor 的基本用法
HuggingFace Transformers
核心概念
模型架构
SAM Architecture:
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ Image Encoder │────▶│ Prompt Encoder │────▶│ Mask Decoder │
│ (ViT) │ │ (Points/Boxes) │ │ (Transformer) │
└─────────────────┘ └─────────────────┘ └─────────────────┘
│ │ │
Image Embeddings Prompt Embeddings Masks + IoU
(computed once) (per prompt) predictions模型变体
| 模型 | 检查点 | 大小 | 速度 | 精度 |
|---|---|---|---|---|
| ViT-H | vit_h | 2.4 GB | 最慢 | 最佳 |
| ViT-L | vit_l | 1.2 GB | 中等 | 良好 |
| ViT-B | vit_b | 375 MB | 最快 | 良好 |
Prompt 类型
| Prompt | 描述 | 使用场景 |
|---|---|---|
| 点（前景） | 点击对象 | 单对象选择 |
| 点（背景） | 点击对象外部 | 排除区域 |
| 边界框 | 对象周围的矩形 | 较大对象 |
| 先前掩码 | 低分辨率掩码输入 | 迭代精化 |
交互式分割
点 prompt
框 prompt
组合 prompt
迭代精化
自动掩码生成
基本自动分割
自定义生成
过滤掩码
批量推理
多张图像
每张图像多个 prompt
ONNX 部署
导出模型
使用 ONNX 模型
常见工作流
工作流 1：标注工具
工作流 2：对象提取
工作流 3：医学图像分割
输出格式
掩码数据结构
COCO RLE 格式
性能优化
GPU 内存
速度优化
常见问题
| 问题 | 解决方案 |
|---|---|
| 内存不足 | 使用 ViT-B 模型，缩小图像尺寸 |
| 推理缓慢 | 使用 ViT-B，减小 points_per_side |
| 掩码质量差 | 尝试不同 prompt，使用框 + 点组合 |
| 边缘伪影 | 使用 stability_score 过滤 |
| 小对象漏检 | 增大 points_per_side |