多模态 VLM 驱动的工业 SOP 合规与工况理解

摘要

传统工业机器视觉大多聚焦人员、物体、场景等目标的检测定位，只能做简单对象告警。即便靠目标检测能判断 SOP 操作时序是否合规，却缺少对人员、设备等环境的工况理解。

本文基于 YOLO 目标检测与多模态 VLM 的双引擎协同架构，结合 iNeuOS_Vision 视觉分析平台，把目标识别与画面工况语义理解深度融合，实现工业现场 SOP 全流程合规校验、隐性风险识别、告警处置与模型自迭代回路。

可广泛应用于烟草、造纸、机加工等工业领域，实现从 “结果检测” 升级为 “作业过程智能管控”。

1背景

1.1行业应用现状

在工业生产环节制定标准化 SOP 作业规范，用以约束人员操作流程、规避违章作业带来安全与质量风险。

传统工业 AI 视觉以 YOLO 这类目标检测模型为主，擅长认明火、人员、设备等实体；但遇到动态工序先后、物体空间位置风险、人机交互隐性危险工况时就露怯——像工人跳步、人卡在重物夹缝、叉车间距过窄这类没有固定标签的场景，单靠目标检测很难识别。

多模态 VLM 大模型的出现，让 AI 具备图像语义推理能力，能读懂画面背后的作业逻辑与潜在风险。把 YOLO 实时检测（SOP 操作编排）与 VLM 工况理解结合，成为破解工业 SOP 监管与复杂隐性风险识别的有效路径。

典型业务落地场景：

1. 工位 SOP 标准化校验：识别操作错序、漏步骤、超时等违规行为；

1.2现存业务痛点

1. 只能识别对象、理解不了工况：传统视觉只做目标框选，判断不了物体间空间关系与作业时序，也就校验不了 SOP 是否被正确遵守；
2. 误报漏报突出：车间光线变化、现场杂物干扰带来大量误告警，而没进样本库的新工况又会漏报；
3. 缺业务到模型的回路：告警只当处置提示，图像与文本样本没回流训练，模型能力跟不上现场工况演进；
4. SOP 数字化门槛高：纸质 SOP 很难直接变成机器规则，工序动作、物料状态、步骤时序传统算法解析不动。

1.3方案创新性与实用性

1. 双引擎分工协同：轻量 YOLO 保毫秒级定位跟踪，VLM 大模型扛高阶工况语义推理，实时性与复杂理解兼得；
2. 完整业务‑数据‑模型链路：现场告警沉淀误报、漏报与边界工况样本，回流到 YOLO 标注库和 VLM 微调集，让模型自我迭代。

2系统特点

依托 iNeuOS_Vision 视觉分析平台，YOLO 目标检测链路与多模态 VLM 语义理解链路并行运行，核心特点如下：

1）双引擎差异化协同推理：YOLO 高速检测人员、设备、物料等实体，VLM 负责场景语义、作业时序与隐性风险研判。两种联动模式可选——YOLO 检出后再触发 VLM 二次复核以省算力，或定时让 VLM 独立全画面巡检，挖出 YOLO 看不到的隐性风险。

2）告警驱动的样本自进化链路：正向是摄像头视频流经双模型推理输出识别、SOP 分析与巡检告警；反向把告警库里的图像+文本样本导出为 YOLO 标注与 VLM 微调集，人工修标后重训模型，持续压误报漏报。样本覆盖误报、新工况、合规/不合规边界，是迭代最核心的数据资产。

3）SOP 流程低代码模板化配置：可视化编排完整作业步骤序列，配置每一步最小置信度、确认帧数、超时阈值、步骤是否允许重复，支持目标检测、关键点姿态估计多种任务类型，快速上线不同工位 SOP 合规分析任务。

4）告警来源可追溯区分：每一条告警记录明确区分是 YOLO 目标检测输出，还是 VLM 语义理解输出，方便运维人员评估两类模型效果，快速定位问题根因。

5）VLM 领域本地化微调：平台内置数据集管理与训练模块，基于工厂真实样本做 LoRA 微调，把通用大模型适配成企业专属工业模型，抬升工况识别准确率。

3系统功能介绍

系统划分为 YOLO 目标检测链路、多模态 VLM 工况理解链路、SOP 操作分析模块、告警与样本链路模块四大板块。

3.1 YOLO目标检测链路功能

YOLO 链路完成从样本准备、训练、测试到实时推理全流程，为 SOP 分析提供基础目标、关键点识别能力。

1. 样本标注管理：支持目标检测、关键点姿态估计、实例分割标注项目创建，可上传图片进行人工标注、AI 辅助标注，导出标准化数据集。
2. 模型训练管理：配置训练轮次、图像尺寸、批大小等参数，启动训练任务，查看训练指标日志；训练完成导入模型管理库统一维护。
3. 模型测试验证：支持静态图片样本测试、摄像头实时跟踪测试，验证目标、关键点识别效果。
4. 实时识别分析：接入 RTSP 视频流，配置置信度、IoU 阈值、连续命中次数、告警等级，调用 YOLO 模型持续推理，检测事件统一推送至告警管理。

模型训练：

3.2多模态 VLM 模型管理与工况理解功能

VLM 模块实现模型接入、数据集管理、微调训练、复杂工况语义推理。

1. VLM 模型配置管理：系统设置中可接入 Ollama 外部模型或平台内部微调产出模型，设置系统默认推理模型。
2. VLM 数据集管理：支持人工上传图文样本，也可以直接将告警记录一键导出为 VLM 数据集；编辑样本标签，修正模型错误判断的工况样本。
3. VLM 模型微调训练：创建 VLM 训练任务，配置基础模型、训练轮数、学习率、LoRA 参数、GPU 硬件资源，勾选数据集执行微调；训练完成注册进系统模型库投入业务运行。

4. 工况语义推理应用

5. 智能巡检：输入自然语言巡检指令，系统对多路摄像头画面自动语义筛查，识别画面潜在风险；

6. 摄像头实时语义分析
   • 识别检出：YOLO 检测目标后，触发 VLM 做二次语义研判；
   • 定时获取：不依赖 YOLO 检测结果，按周期对完整画面做语义解析，识别人员夹缝、车辆间距过小这类没有明确检测对象的隐性安全工况。

模型配置：

工况理解：

3.3 SOP操作分析核心功能

SOP 模块完成标准作业流程数字化配置、实时监控、过程留痕与违规告警。SOP 模板管理界面如下图：

1. SOP 模板管理：可视化新建 SOP 流程模板，按照真实作业顺序编排步骤，配置步骤编码、步骤名称、最小置信度、确认帧数、超时时间、是否允许重复步骤等参数，支持姿态关键点、目标检测任务类型。

2. SOP 分析任务配置：新建 SOP 摄像头任务，接入现场视频流，选择识别模型、绑定 SOP 流程模板，配置抽帧频率、置信度阈值、告警级别。SOP 运行监控配置如下图：

3. SOP 运行监控：页面直观展示任务实例运行状态、当前执行步骤、已完成步骤、处理帧数、最近事件、实时违规告警，直观掌握工位作业推进情况。

4. SOP 日志记录

   • SOP 告警日志：记录步骤超时、流程错乱等违规告警，留存告警图片；
   • SOP 事件日志：完整记录每一步识别时间、置信度、截图，完整复现作业全流程，用于问题回溯和样本复盘。

3.4告警管理与样本链路回流

告警管理是业务与模型迭代的枢纽，汇总 YOLO 检测告警、VLM 语义告警、SOP 流程告警全部事件。

1. 告警统一展示：包含告警时间、告警源、告警类别、告警描述、告警图片，支持筛选、导出；
2. 支持单条、批量告警记录重新执行 VLM 语义理解，复核工况风险；
3. 样本回流导出：告警图像文本可一键导出到 YOLO 样本标注模块或者 VLM 数据集；人工修正标注后重新训练模型，完成模型迭代链路。

4实践应用案例

案例一关注车间复杂安全生产工况：YOLO 能识别人员、叉车、升降平台，却判断不了“人员处于两卷重物之间、间距过小”这类隐性风险。开启 VLM 定时语义理解后，可对这些风险生成告警，再回流为数据集做领域微调，显著提升识别能力。

YOLO 可以识别画面中的人员、叉车、升降平台，但无法判断 “人员处于两卷重物之间、车间或人车间距过小” 这类隐性风险。开启 VLM 定时语义理解，直接对完整监控画面做语义解析，识别上述安全风险生成告警；告警记录导出成为 VLM 数据集，人工修正样本标签后做领域微调；微调后的模型重新上线，对车间人机交互风险工况识别能力显著提升。

案例二展示 SOP 倒水标准化作业校验：用关键点姿态估计标注作业准备、开盖、倒水三阶段，训练姿态估计模型，再在系统里编排 SOP 模板、接入视频流实时监控，出现跳步或超时即触发违规告警。

采用关键点姿态估计，标注作业准备、开盖、倒水三个阶段手部、物料、水杯关键点样本，训练姿态估计模型；在系统中编排 SOP 流程模板，接入视频流实时监控作业。出现跳步骤、步骤超时即触发 SOP 违规告警，实现工位操作流程智能化监督。

5结语

传统机器视觉解决“画面里有什么物体”，而 SOP 合规分析结合多模态 VLM 工况理解，进一步回答“作业流程对不对、现场工况意味着什么”。

该方案把工业视觉从单纯结果检测推到作业全流程过程管控，解决复杂动态场景的 SOP 监管与隐性风险识别难题。随着多模态大模型迭代，SOP 合规与复杂工况智能理解会成为工业视觉的重要落地方向。

参考文章

（1）硬件网关：

（2）物联网（IOT）：

（3）视觉分析（Vision）：

（4）大模型智库（AiMind）：

（5）大模型智能问数（AiInsight）:

（6）小i助手：

（7）视觉模型：

---