多模态大模型能够处理图像、文本、音频等多种信息，是否原生支持结构化数据需按具体模型接口验证（可能经工具或文本转换）。项目成败不在模型参数多少，而在任务定义是否清楚、各模态数据是否对齐、验收是否可量化。规划项目时，应先明确每个任务"输入什么、输出什么、由谁确认"，再决定模型与平台架构，并用代表性场景验证后再扩展范围。
一、适用边界与业务价值
适合多模态的任务有三个特征：
- 信息分散在多个模态：视频里有事件、台账里有对象、规范里有处置要求；
- 需要跨模态关联后才能得出结论：比如把画面中的设备与档案对应起来；
- 输出可以由人来复核：模型负责起草和提示，人工负责确认。
这三个特征是选型参考，不是必须同时满足才有价值；是否选用多模态按任务、数据与部署实际评测。
| 对比项 | 单模态视觉AI | 多模态大模型 |
|---|---|---|
| 核心能力 | 看到并判定 | 看懂并组织 |
| 典型任务 | 划线、越界、烟火检测 | 事件摘要、工单生成 |
| 输出形式 | 告警事件 | 结构化报告、草稿 |
注：单模态视觉AI与多模态大模型各按任务、数据与部署评测，不存在一方天然更准；高风险专业任务保留业务责任与审查边界。
二、需求梳理：从业务问题出发
不要从模型名称或宣传指标开始。需要明确八个问题：
- 覆盖区域与对象是什么；
- 时间范围如何界定；
- 哪些异常条件必须被捕捉；
- 责任岗位是谁；
- 响应时限多长；
- 验收口径如何定义；
- 现有数据能否获取；
- 业务接口在哪里。
三、多模态数据整合
四类数据来源逐项盘点：
| 数据类型 | 典型来源 |
|---|---|
| 视觉数据 | 摄像头视频、截图、现场照片 |
| 文本数据 | 工单、巡检记录、设备台账 |
| 音频数据 | 对讲语音、环境声音 |
| 结构化数据 | 传感器读数、门禁记录 |
跨模态整合最常栽的跟头是对不齐。画面里的"3号设备"要和台账里的"3号设备"是同一个对象，视频时间戳要和传感器记录对齐。缺失的模态可通过限定任务范围或按规则拒答处理，不把所有不齐的数据一律规定不得上线。
四、典型应用场景
- 视频事件摘要：模型读取视频事件、设备台账和处置规范，生成值班摘要与工单草稿；
- 设备巡检：图像拍到异常，结合设备档案和历史维修记录，判断异常等级；
- 智能问答：值班人员用自然语言查"昨晚3号区域发生了什么"，模型从视频与日志中给出带证据的回答。
五、落地节奏与成本
多模态项目的排期与成本，和普通软件项目不完全一样：多出的部分主要在数据整合与推理开销两处。以下为估算口径，具体数值需按项目实际情况逐项评估。
| 成本项 | 多模态相比单模态的原因 | 估算要点 |
|---|---|---|
| 数据整合工时 | 视频、工单、台账、音频分属不同系统，需逐个打通并对齐口径 | 按数据类型分别估算，不按项目整体打包估 |
| 推理与存储 | 视频与音频的数据量远大于文本，存储与调用量随之上升 | 按生产用量而非试用规模估算 |
| 效果调优 | 多模态输出的可接受度依赖场景，需按任务反复验证 | 预留与业务方确认所占用的等待时间 |
排期上建议分两步：先用一个场景跑通最小闭环（含人工复核），确认数据可对齐、输出可复核后，再扩展到其他任务。数据整合的工时通常随场景数增长，而不只是随模态种类增长——每接入一个新场景，都要重新确认它的数据来源是否已就绪。
本节只说明需要计入哪些成本，不提供统一周期或费用区间；具体数值取决于数据现状、部署方式与团队配置，应以试点阶段的实测数据为准。
多模态大模型不是万能的。把它定位为"阅读理解与信息组织工具"，比定位为"万能识别器"更稳妥，也更容易验收。