论文解读-面向制造场景的细粒度多模态评估基准
07:10
阅读次数： 0【AI论文解读】FORGE：面向制造场景的细粒度多模态评估基准 - 2026-04-13
💡 论文信息
- 论文标题： FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios
- ArXiv ID： 2604.07413
- 作者： Xiangru Jian, Hao Xu, Wei Pang, Xinjian Zhao, Chengyu Tao, Qixin Zhang, Xikun Zhang, Chao Zhang, Guanzhi Deng, Alex Xue, Juan Du, Tianshu Yu, Garth Tarr, Linqi Song, Qiuzhuang Sun, Dacheng Tao
- 机构： University of Waterloo (加拿大), University of Sydney (澳大利亚), SMU (新加坡), CUHK Shenzhen (中国), Hunan University (中国), NTU (新加坡), RMIT University (澳大利亚), City University of Hong Kong (中国), HKUST Guangzhou (中国)
- 项目主页： https://ai4manufacturing.github.io/forge-web
- 发表日期： 2026年4月8日
- 领域： 计算机视觉 (cs.CV)、人工智能 (cs.AI)、机器学习 (cs.LG)
🎯 一句话总结： FORGE 是第一个针对制造业场景的细粒度多模态评估基准，它发现当前最先进的多模态大模型在工业质检任务中表现不佳，瓶颈不是视觉感知能力不足，而是缺乏领域专业知识。通过在 FORGE 数据上微调一个仅 30 亿参数的小模型，性能可以提升高达 90.8%，接近 2350 亿参数的大模型水平。
一、摘要解读
1.1 研究背景与动机
多模态大语言模型（MLLMs，Multimodal Large Language Models）——通俗来说，就是既能"看图"又能"说话"的AI模型（比如 GPT-5、Gemini 等）——正在被制造业越来越多地采用。制造业希望这些模型能从"简单的感知"（看看这是什么东西）进化到"自主执行"（自动判断产品是否合格、哪里有缺陷）。
然而，一个关键问题是：现有的评估方法完全不能反映真实制造环境的严格要求。这就好比用小学考试来衡量一个工程师的能力——考试太简单了，根本看不出真正的水平。
造成这一困境的两大原因：
- 数据稀缺（Data Scarcity）：制造业的高质量标注数据非常难以获取，因为需要专业工程师标注，而且工业数据往往涉及商业机密
- 缺乏细粒度领域语义（Fine-grained Domain Semantics）：现有数据集只标注了粗略的信息（"这是一个螺丝"），而没有精确到型号级别的信息（"这是一个 M8 螺丝"）
1.2 FORGE 做了什么
为了填补这一空白，论文提出了 FORGE（Fine-grained Multimodal Evaluation for Manufacturing Scenarios，面向制造场景的细粒度多模态评估）。FORGE 做了以下几件事：
- 构建了高质量多模态数据集：结合真实世界的 2D 图像和 3D 点云（Point Cloud，一种由大量三维空间中的点组成的数据形式，就像用激光雷达扫描物体得到的"点的集合"），并且标注了细粒度的领域语义（如精确的零件型号编号）
- 评估了 18 个最先进的 MLLM：跨越三个制造任务进行评估，发现显著的性能差距
- 揭示了反直觉的发现：视觉定位（Visual Grounding）并非主要限制因素，领域专业知识不足才是关键瓶颈
- 展示了数据的训练价值：用 FORGE 数据微调一个仅 30 亿参数的小模型，在未见过的制造场景上准确率相对提升高达 90.8%
📝 生活化比喻： 想象你去汽车修理厂，老师傅一眼就能看出"这个螺丝用错了，应该用 M10 的但装了 M8 的"。FORGE 要测试的就是——AI 能不能也达到这种"老师傅"级别的判断力？结果发现，AI 其实"眼睛"够好（能看清零件），但"脑子"里缺乏专业知识（不知道 M8 和 M10 的区别）。
二、引言与研究背景
2.1 制造业智能化的趋势
制造业正处于一场深刻的智能化转型中。传统的质量检测依赖人工目检，效率低且容易出错。随着计算机视觉和 AI 技术的发展，自动化质检成为可能。特别是近年来 MLLMs 的爆发式发展，使得人们开始期望这些模型能够在制造业中发挥更大作用——不仅能"看"，还能"理解"和"判断"。
2.2 现有基准的不足
然而，现有的视觉语言模型（VLM，Vision-Language Model）基准测试存在严重的"水土不服"：
- 粒度太粗：现有基准问的是"这是什么？"（What is this?），而制造业需要的是"这是 M8 螺丝吗？它与此装配体所需的 M10 规格匹配吗？"
- 缺乏工业场景：大多数基准基于日常生活图片，而不是工厂车间里的零件照片
- 没有 3D 数据：制造业中很多检测需要三维视角，而现有基准几乎都是 2D 图片
打个比方：现有的基准就像让一个医生只参加"看图认器官"的考试，而 FORGE 则是让他参加"看 CT 片诊断疾病"的考试——两者难度天差地别。
2.3 FORGE 的定位
FORGE 是第一个同时满足以下条件的制造业评估基准：
- 结合 2D 图像和 3D 点云两种模态
- 具有细粒度领域语义标注（精确到零件型号级别）
- 覆盖 14 个工件类别和 90 个不同的型号规格
- 设计了 3 个核心制造任务和 3,320 个评估用例
三、相关工作
3.1 多模态大语言模型（MLLMs）
近年来，MLLMs 取得了巨大进展。闭源模型如 GPT-5、GPT-5.2、GPT-5 Mini、O3、Gemini-3-Flash、Claude-Opus-4.5 等代表了商业化的最高水平；开源模型如 Qwen3-VL、InternVL3、Llama-4、GLM-4.6V、Gemma-3、Mistral-3 等则推动了社区的发展。这些模型都能接收图像和文本输入，生成文本输出。
3.2 现有视觉基准
主流的视觉语言基准（如 VQA、GQA、MMLU 等）侧重于通用视觉理解，缺乏对特定行业的深入评估。一些工业相关的数据集（如 MVTec 用于缺陷检测）虽然有针对性，但仍停留在粗粒度的异常检测层面，没有涉及型号级别的细粒度理解。
3.3 3D 点云理解
**点云（Point Cloud）**是一种重要的三维数据表示形式。在制造业中，点云数据通常通过激光雷达（LiDAR）或结构光扫描仪获得，能够精确捕捉物体的三维几何形状。FORGE 创新性地将点云数据引入多模态评估中，以更全面地测试模型对工业零件的理解能力。
四、方法论：FORGE 数据集构建
4.1 数据构建流程概览（FORGE Pipeline）
FORGE 的数据构建经历了一个精心设计的四阶段流水线：
- 原始数据采集（Raw Manufacturing Data）：从真实物理世界的制造环境中收集工件数据
- 标准化与知识注入（Standardization with Fine-grained Domain Knowledge Injection）：对数据进行标准化处理，并注入细粒度的领域知识（如零件型号、规格参数等）
- 任务导向场景生成（Task-oriented Scenarios）：将数据组织成面向特定任务的评估场景，同时包含 3D 点云和 2D 渲染视图
- MLLM 认知评估（MLLM Cognition Evaluation）：设计评估框架，揭示模型在"宏观感知"（Macro-perception）和"微观推理"（Micro-reasoning）之间的差距
4.2 数据模态
FORGE 数据集包含两种主要的视觉模态：
| 模态 | 描述 | 优势 |
|---|---|---|
| 2D 图像（Image） | 真实拍摄的工件/装配体照片 | 最接近真实工作场景，包含纹理、光照等信息 |
| 3D 三视图（Three-View） | 从 3D 点云渲染的正视图、侧视图、俯视图 | 提供精确的几何信息，标注有零件标签 |
4.3 数据规模
FORGE 数据集的核心统计数据如下：
| 指标 | 数值 |
|---|---|
| 评估的 MLLM 数量 | 18 |
| 制造任务数量 | 3 |
| 总评估用例数 | 3,320 |
| 工件类别数 | 14 |
| 不同型号规格数 | 90 |
4.4 细粒度标注的重要性
FORGE 的核心创新之一是细粒度领域语义标注。举例来说：
- 粗粒度标注（传统方式）：这是一个"螺栓"→ 这是一个"螺母" → 这些零件组成一个"装配体"
- 细粒度标注（FORGE 方式）：这是一个"M8×30 六角头螺栓，材质 8.8 级" → 这是一个"M8 法兰螺母，不锈钢" → 装配体 BOM 表要求的是"M10×35 螺栓"，因此存在型号不匹配
这种细粒度标注使得 FORGE 能够测试模型是否真正理解制造业的专业知识，而不仅仅是"看个大概"。
五、三大制造任务设计
5.1 任务一：工件验证（WorkVeri - Workpiece Verification）
💡 任务定义： 给定一个装配体，识别其中哪个零件的型号是错误的。这要求模型能够在外观相似的零件之间进行细粒度区分（例如 M8 和 M10 螺栓之间的区别）。
数据规模：
- 451 个 2D 图像用例
- 496 个三视图用例
生活化比喻： 想象你在组装宜家家具，工件验证就是让 AI 检查"这个螺丝包里有没有混进去不对的螺丝"。比如该用长螺丝的地方混进了短螺丝——它们长得很像，但规格不对。
5.2 任务二：结构表面检测（SurfInsp - Surface Inspection）
💡 任务定义： 对制造缺陷进行分类：裂纹（crack）、切口（cut）、变形（deformation）或凹陷（dent）。回答分两步：首先判断是否正常，然后识别缺陷类型。
数据规模：
- 830 个三视图用例
- 4 种缺陷类型
生活化比喻： 这就像一个"质检员"的工作——检查出厂的金属零件上是否有划痕、裂缝、变形或凹坑。不仅要发现"有问题"，还要精确说出是"哪种问题"。
5.3 任务三：装配验证（AssyVeri - Assembly Verification）
💡 任务定义： 识别装配体中多余的（extra）、不匹配的（mismatched）或缺失的（missing）零件。这测试模型对多组件系统的组合理解能力。
数据规模：
- 857 个 2D 图像用例
- 309 个三视图用例
- 377 个缺件检测用例
生活化比喻： 这就像检查一台组装好的机器——是不是多了一个螺丝？是不是装反了一个零件？是不是少了一个垫圈？需要模型有整体性的"大局观"来判断装配是否正确。
六、实验设计
6.1 评估的 18 个模型
FORGE 对 18 个当前最先进的 MLLM 进行了全面评估，分为两类：
| 类别 | 模型 |
|---|---|
| 闭源模型（9个） | GPT-5, GPT-5.2, GPT-5 Mini, O3, Gemini-3-Flash, Gemini-2.5-Flash, Claude-Opus-4.5, Seed-1.6, Kimi-K2.5 |
| 开源模型（9个） | Qwen3-VL-235B, Qwen3-VL-8B, InternVL3-78B, Llama-4-MAV, GLM-4.6V, Gemma-3-27B, Mistral-3-Large, Mistral-3-14B, Mistral-3-8B |
6.2 三种评估设置
每个模型在三种不同的设置下进行评估：
| 设置 | 缩写 | 描述 |
|---|---|---|
| 零样本（Zero-shot） | Z | 不提供任何参考信息，直接让模型回答——测试模型的"裸实力" |
| 参考图（Reference） | R | 提供正常参考图像作为对比——类似给模型一个"标准答案"来参照 |
| 上下文学习（Few-shot/In-Context Demonstration） | F | 提供带标签的示例——类似"先看几道例题再做题" |
6.3 评估指标
主要使用**准确率（Accuracy）**作为评估指标，以百分比表示。对于每个任务和模态组合，分别报告三种设置下的准确率。
七、实验结果详细分析
7.1 任务一：工件验证（WorkVeri）结果
7.1.1 2D 图像模态
| 模型 | 零样本 (Z) | 参考图 (R) | 上下文学习 (F) |
|---|---|---|---|
| --- 闭源模型 --- | |||
| O3 | 75.2 | 64.1 | 76.3 |
| GPT-5 | 74.7 | 64.2 | 85.2 |
| GPT-5 Mini | 73.6 | 72.7 | 76.8 |
| Gemini-3-Flash | 72.2 | 76.3 | 82.3 |
| GPT-5.2 | 70.9 | 51.9 | 79.2 |
| Seed-1.6 | 67.0 | 49.7 | 70.3 |
| Kimi-K2.5 | 60.1 | 56.7 | 62.7 |
| Claude-Opus-4.5 | 59.4 | 56.1 | 61.0 |
| Gemini-2.5-Flash | 55.8 | 51.7 | 54.5 |
| --- 开源模型 --- | |||
| Qwen3-VL-235B | 64.1 | 57.6 | 66.3 |
| Llama-4-MAV | 37.3 | 39.0 | 48.8 |
| Qwen3-VL-8B | 35.3 | 23.9 | 25.1 |
| InternVL3-78B | 32.6 | 53.9 | 65.3 |
| Mistral-3-8B | 29.9 | 24.2 | 32.0 |
关键发现：
- GPT-5 在上下文学习设置下达到了最高的 85.2%，这是所有设置中的最佳成绩
- 闭源模型整体显著优于开源模型，差距在 10-40 个百分点
- 上下文学习（F）几乎在所有模型上都带来了提升，说明"看例题"确实有帮助
- 参考图（R）有时反而降低了性能——这是一个反直觉的发现
7.1.2 三视图模态
在三视图模态下，所有模型的表现普遍低于 2D 图像模态，最高仅达到 67.3%（Gemini-3-Flash 在 F 设置下）。这说明模型在处理来自 3D 点云渲染的结构化视图时，面临更大的挑战。
7.2 任务二：表面检测（SurfInsp）结果
⚠️ 任务二是三个任务中最难的！ 最高准确率仅为 47.1%（Gemini-3-Flash 在上下文学习设置下），这意味着即使是最好的模型，也有超过一半的缺陷无法正确分类。
| 模型 | 零样本 (Z) | 参考图 (R) | 上下文学习 (F) |
|---|---|---|---|
| --- 闭源模型 --- | |||
| Gemini-3-Flash | 18.5 | 29.6 | 47.1 |
| Claude-Opus-4.5 | 8.7 | 7.7 | 44.3 |
| Seed-1.6 | 22.6 | 36.2 | 42.3 |
| O3 | 21.1 | 36.2 | 40.0 |
| GPT-5 | 22.0 | 35.7 | 38.3 |
| --- 开源模型 --- | |||
| Mistral-3-8B | 24.3 | 27.1 | 38.9 |
| GLM-4.6V | 23.5 | 23.8 | 38.4 |
| Mistral-3-14B | 28.3 | 27.7 | 33.2 |
| Qwen3-VL-235B | 19.2 | 18.7 | 32.2 |
关键发现：
- 表面缺陷分类极其困难，因为裂纹、切口、变形、凹陷在视觉上可能非常相似
- 上下文学习带来了最大的提升（有的模型从 ~8% 提升到 ~44%），说明模型需要"示例"来理解缺陷的标准
- 有趣的是，小模型 Mistral-3-8B 在开源模型中表现最好，甚至超过了参数量大得多的 Qwen3-VL-235B
- Claude-Opus-4.5 在零样本和参考图设置下表现很差（8.7% 和 7.7%），但在上下文学习后跃升至 44.3%，波动极大
7.3 任务三：装配验证（AssyVeri）结果
7.3.1 2D 图像模态
| 模型 | 零样本 (Z) | 参考图 (R) | 上下文学习 (F) |
|---|---|---|---|
| Gemini-3-Flash | 58.1 | 70.4 | 71.4 |
| Claude-Opus-4.5 | 52.1 | 56.4 | 62.9 |
| GPT-5 | 50.1 | 49.8 | 60.5 |
| O3 | 48.2 | 59.8 | 61.0 |
| GPT-5.2 | 43.2 | 53.5 | 63.2 |
| Qwen3-VL-235B | 36.9 | 40.2 | 50.2 |
关键发现：
- Gemini-3-Flash 在装配验证任务上表现最佳，在所有设置下都领先
- 参考图在此任务中比在工件验证中更有帮助，因为装配验证可以直接对比"标准装配"和"待检装配"
- 开源模型与闭源模型的差距在此任务中有所缩小
7.4 总体性能对比
🎯 整体排名（综合表现）：
- Gemini-3-Flash — 在多个任务上表现最均衡
- GPT-5 — 在工件验证上表现最佳
- O3 — 整体第二梯队领跑者
- GPT-5.2 — 在某些场景下超过 GPT-5
- Claude-Opus-4.5 — 波动较大，但上限不低
开源模型中，Qwen3-VL-235B 是当之无愧的冠军。
八、核心发现：瓶颈分析
8.1 视觉定位（Visual Grounding）消融实验
为了搞清楚"模型到底是哪里不行"，研究者设计了一个巧妙的消融实验——视觉定位测试（Grounding Ablation）。
这个实验的核心思想是：将"领域知识"从任务中剥离，只测试模型的"视觉定位"能力。具体来说，测试模型能否在图像中正确定位和匹配零件，而不需要知道零件的具体型号。
| 模型 | 单图定位 (C→L) | 单图定位 (L→C) | 跨图定位 (L→L) | 跨图定位 (C→C) | 平均 |
|---|---|---|---|---|---|
| Gemini-3-Flash | 98.2 | 99.6 | 88.7 | 79.9 | 91.6 |
| GPT-5.2 | 74.6 | 97.6 | 85.6 | 75.4 | 83.3 |
| Qwen3-VL-235B | 85.4 | 98.8 | 80.3 | 65.7 | 82.6 |
| Seed-1.6 | 42.0 | 99.2 | 79.3 | 71.2 | 72.9 |
| Mistral-3-8B | 66.0 | 70.6 | 62.0 | 33.9 | 58.1 |
📝 关键结论：前沿模型在视觉定位上达到了 86-98% 的准确率！
这意味着模型完全能够"看到"和"定位"图像中的零件。它们可以准确地跨图像匹配和识别零件。
那么问题出在哪里？ 出在模型虽然能"看到"零件，但不知道这个零件该不该在这里——因为它缺乏制造业的专业知识。
8.2 领域知识差距的量化
研究者进一步通过对比"工件级别任务"（粗粒度，只需识别零件类别）和"型号级别任务"（细粒度，需要识别具体型号）来量化领域知识的影响：
- 工件级别任务（"这是螺栓还是螺母？"）：模型表现相对较好
- 型号级别任务（"这是 M8 还是 M10 螺栓？"）：模型性能显著下降
这种性能差距不是因为"看不清"，而是因为"不知道"。模型没有学到足够的制造业知识来区分不同规格的零件。
8.3 六大关键发现总结
| # | 发现 | 详细说明 |
|---|---|---|
| 1 | 🔎 视觉定位不是瓶颈 | 前沿模型在空间定位消融实验中达到 86-98% 的准确率，确认它们可以定位和跨图像匹配零件。真正的限制在其他地方。 |
| 2 | 📚 领域知识是主要差距 | MLLM 缺乏细粒度的制造知识（型号编号、规格参数）。型号级别任务始终比粗粒度工件识别更难。 |
| 3 | 📈 上下文示例始终有帮助 | 提供带标签的上下文示例几乎在所有模型上都提高了性能，平均提升 10-20%。最佳结果：GPT-5 在工件验证上下文学习设置下达到 85.2%。 |
| 4 | ⚠️ 参考图有时会"帮倒忙" | 反直觉地，正常参考图像有时会降低三视图任务的性能，表明模型在多图像对比推理方面存在困难。 |
| 5 | 🛠 微调实现 90.8% 相对提升 | 在领域数据上微调的 30 亿参数小模型可以匹配 2350 亿参数大模型的性能，证明领域特定训练能戏剧性地缩小差距。 |
| 6 | 📡 任务二最难 | 表面缺陷分类的最高准确率仅 47.1%（Gemini-3-Flash + 上下文学习），说明细粒度缺陷判别仍然是一个开放挑战。 |
九、微调实验（SFT）
9.1 实验设计
为了验证 FORGE 数据集不仅是一个评估工具，还能作为可操作的训练资源，研究者进行了**监督微调（SFT，Supervised Fine-Tuning）**实验。
实验设计如下：
- 基础模型：一个紧凑的 3B（30 亿）参数模型
- 训练数据：使用 FORGE 数据集中的结构化标注进行微调
- 测试数据：在留出的、未见过的制造场景（held-out manufacturing scenarios）上进行评估
9.2 微调结果
🎯 核心结果：
- 微调后的 3B 模型在留出场景上实现了高达 90.8% 的相对准确率提升
- 绝对准确率提升达到 +25.6%
- 微调后的 3B 模型性能匹配了 235B 参数模型（Qwen3-VL-235B）的水平
这意味着什么？
- 一个只有 30 亿参数的"小"模型，通过在正确的数据上训练，可以达到比它大 78 倍的模型的水平
- 这为工业部署提供了一条务实的路径——不需要部署庞大的闭源 API，只需在本地运行一个经过领域微调的小模型
- FORGE 的结构化标注被证明是有效的训练素材，不仅仅是评估工具
9.3 微调的意义
生活化比喻： 这就像一个刚毕业的小助手（3B 模型），在老师傅（FORGE 数据）的指导下培训了几个月，就能达到行业老手（235B 大模型）的水平。关键不是天赋有多高（参数有多多），而是有没有接受正确的培训（领域数据微调）。
十、错误分析
10.1 典型错误案例
论文展示了 Gemini-2.5-Flash 的代表性错误案例：
案例一：材质错误识别
- 场景： 模型被要求识别一个平垫圈的材质不匹配
- 错误： 模型预测答案为 E，但正确答案是 A
- 分析： 模型虽然能看到所有零件，但在判断材质差异时出错——这需要领域知识来理解不同材质的外观特征
案例二：推理过程正确但结论错误
- 场景： 模型需要识别磨损的零件
- 错误： 模型提供了关于磨损零件的详细推理，但最终选择了错误的组件（预测 B，正确答案是 D）
- 分析： 这是一个典型的"推理链断裂"——模型的分析过程看起来很合理，但最后一步选择出了错，可能是因为缺乏对特定零件磨损模式的知识
十一、讨论
11.1 为什么领域知识是瓶颈？
MLLMs 的训练数据主要来自互联网上的通用文本和图像，这些数据中：
- 制造业专业内容极其稀少：普通网页中很少有关于 "M8 与 M10 螺栓的外观差异"这样的精确描述
- 工业图片不常见：相比于猫狗照片和风景图，工厂零件的照片在训练数据中占比微乎其微
- 专业术语和标准难以从通用数据中学习：制造业有大量的行业标准（ISO、GB 等），这些知识需要专门的训练才能掌握
11.2 参考图为何有时"帮倒忙"？
这个反直觉的发现可能有以下原因：
- 认知负载增加：提供参考图意味着模型需要处理更多的图像信息，对于三视图任务（本身已经有 3 张图），再加参考图可能导致"信息过载"
- 多图推理能力不足：当前模型在单图理解上表现不错，但在需要跨多张图像进行对比推理时，能力还不够成熟
- 注意力分散：参考图可能吸引了模型过多的注意力，反而忽略了待检图像中的关键信息
11.3 对未来研究的启示
- 领域知识注入：需要开发新的方法来将制造业专业知识注入 MLLM，可能通过检索增强生成（RAG）或专门的预训练
- 数据效率：FORGE 的微调实验表明，少量高质量的领域数据就能带来巨大提升
- 多模态融合：需要更好地融合 2D 和 3D 信息，以提高在三视图任务上的表现
- 缺陷检测能力：任务二（表面检测）的低准确率表明，细粒度缺陷分类是一个亟待解决的开放问题
十二、结论
FORGE 论文的核心贡献可以总结为：
- 🏭 构建了首个面向制造业的细粒度多模态评估基准，填补了工业 AI 评估的空白
- 📊 对 18 个最先进 MLLM 的全面评估，揭示了它们在真实制造场景中的显著不足
- 🔍 提出了反直觉的关键发现：视觉定位不是瓶颈，领域知识不足才是主要限制因素
- 📈 证明了领域微调的巨大潜力：3B 小模型微调后可匹配 235B 大模型的性能
- 🗂 提供了高质量的开源数据和代码，为后续研究提供了坚实的基础
📝 总结比喻： FORGE 就像一场针对 AI 的"制造业从业资格考试"。考试结果发现，这些 AI"学生"眼睛很好使（视觉定位没问题），但专业知识严重不足（不知道零件型号的区别）。好消息是，只要给它们上几节"专业培训课"（领域微调），即使是"资质平平"的小学生（3B 模型）也能考出"优等生"（235B 模型）的成绩。这为制造业 AI 的落地指明了方向——不是追求更大的模型，而是追求更好的领域数据。
附录：关键术语对照表
| 英文术语 | 中文翻译 | 通俗解释 |
|---|---|---|
| MLLM (Multimodal Large Language Model) | 多模态大语言模型 | 能同时处理图片和文字的 AI 大模型 |
| Point Cloud | 点云 | 由大量三维空间点组成的数据，像用激光扫描得到的"点的集合" |
| Fine-grained Domain Semantics | 细粒度领域语义 | 精确到具体型号级别的专业信息标注 |
| Visual Grounding | 视觉定位/接地 | AI 在图像中找到并定位特定物体的能力 |
| Zero-shot | 零样本 | 不给任何示例，直接让 AI 回答 |
| Few-shot / In-Context Learning | 少样本 / 上下文学习 | 先给 AI 看几个例子，再让它回答 |
| SFT (Supervised Fine-Tuning) | 监督微调 | 用标注好的数据对已有模型进行针对性训练 |
| Workpiece Verification | 工件验证 | 检查零件型号是否正确 |
| Surface Inspection | 表面检测 | 检查零件表面是否有缺陷（裂纹、凹陷等） |
| Assembly Verification | 装配验证 | 检查装配体是否正确组装（有无多余或缺失零件） |
| Three-View | 三视图 | 从 3D 模型渲染的正面、侧面、顶部三个视角的图 |
本文由 AI 论文解读助手自动生成 | 数据来源：arXiv 2604.07413 | 解读日期：2026-04-13