模型训练效果不好，很多时候不是模型不够大，而是训练数据质量差。数据从各个渠道收集上来，有重复、有错误、有标注不一致、有敏感内容，直接喂给模型会导致输出混乱。数据清洗和数据审核就是在数据进入训练之前，把脏数据整理规范、把不合格样本筛出来。本文侧重"训练前的整理与把关"环节；若你想了解标注本身怎么做、标注团队如何组织，可参考本站关于数据标注的专文。
数据清洗做什么
数据清洗是把原始数据整理成规范、可用的状态，解决"格式乱、有重复、有错误"这类可以直接发现和处理的问题。
| 问题类型 | 典型表现 | 常见清洗操作 |
|---|---|---|
| 重复数据 | 同一内容多次出现，或高度相似的样本重复计入 | 去重，删除完全重复或达到相似度阈值的冗余样本（近似重复需按样本来源与实体关系核验，不能只用字符相似度阈值） |
| 缺失值 | 关键字段为空，或样本大部分字段无值 | 按规则补齐（不凭空补造事实），或删除缺失比例过高的样本 |
| 格式不统一 | 日期写法、编码、命名规则、字段结构各来源不一致 | 统一时间格式、字符编码、命名规则和字段结构 |
| 异常值 | 数值明显超出合理范围，或标注结果明显错误（部分异常值可能是目标真实场景，需按任务规则判断） | 按业务规则识别并处理，必要时转人工复核 |
| 标注不一致 | 同一类对象被标成不同标签，不同标注员口径不一 | 统一标签口径，回标或仲裁后确认唯一结果 |
| 噪声与无关内容 | 乱码、水印、广告、与目标任务无关的内容 | 过滤规则 + 模型初筛 + 人工抽检确认 |
数据审核做什么
数据审核是对清洗、标注等环节的检查与判定，解决的是机器难以判定的问题——标注对不对、内容合不合规、覆盖面够不够。它常见于清洗和标注之后进行，但来源、处理依据与访问权限需要在接收与加工前核对，并随处理过程持续跟进。
标注质量审核
抽检标注是否准确、边界框是否贴合、分类是否正确，不合格的批次打回重标，并复盘是标注规则不清还是人员理解偏差。
合规性审核
检查是否包含个人隐私、敏感内容、违法违规信息，评估是否需要去标识化、脱敏或直接剔除，并留存处理记录。
一致性审核
同一类数据的标注标准是否前后一致，不同标注员之间口径是否统一，必要时引入仲裁角色裁断分歧。
完整性与分布审核
检查数据集是否覆盖预期场景，是否存在类别缺失、分布不均或训练集与测试集混用带来的虚高分数。
图：办公场景中的材料核对——数据整理与复核需要人员参与
清洗、标注、审核的顺序与边界
这三个环节经常被混为一谈，实际分工不同：清洗处理的是"数据本身能不能用"，主要靠规则和机器；标注是给数据加上任务需要的标签，回答"这是什么"；审核是对前两步结果的检查与判定，回答"这样的数据能不能交付"。
| 维度 | 数据清洗 | 数据标注 | 数据审核 |
|---|---|---|---|
| 主要动作 | 去重、格式化、过滤、修复 | 按规则打标签或划边界 | 抽检、判定、打回、记录 |
| 执行主体 | 以脚本和工具为主 | 标注人员，可借助预标注 | 审核人员，与标注执行者分离 |
| 依据 | 清洗规则文档 | 标注规范 | 验收标准与抽检方案 |
| 产出 | 规整后的数据集与清洗日志 | 带标签的数据 | 质检报告与批次结论 |
需要说明的是，实际项目中三者往往循环往复而非严格线性：审核发现某类问题集中出现，要回溯是清洗规则没写清还是标注规范有歧义，修好后重新跑受影响的部分。数据加工与质量控制的平台能力，可对照「AI 数据标注平台」与「标注质量与一致性」。
不同数据类型的处理重点
同为"清洗"，不同类型数据要处理的问题差别很大，不能套用同一套规则：
文本数据
- 去重（含近似重复）、清乱码与异常字符
- 过滤广告、水印、模板化内容
- 检查语言、领域与体裁分布
- 敏感信息与个人信息识别
图像数据
- 剔除模糊、过曝、尺寸不达标样本
- 检查标注框贴合度与遮挡情况
- 类别均衡与小样本场景覆盖
- 人脸、车牌等敏感目标处理
视频与语音
- 抽帧策略与关键片段完整性
- 音画同步、噪声与截断片段处理
- 时间轴标注的准确性
- 说话人信息的合规处理
多模态数据
- 跨模态对齐关系是否正确
- 图文、音视频是否匹配
- 各模态质量是否均衡
- 对齐标注的一致性裁断
处理流程与各环节交付物
- 📥
数据收集
来源登记与授权核验
⚙️自动清洗
去重格式化异常检测
🔒合规处理
脱敏去标识化
🏷️人工标注
按规范打标签
✅质量审核
抽检判定批次打回
📦终检交付
数据集质检报告
机器能做到的和必须由人做的
机器擅长的是规则明确、可批量重复的工作：去重、格式校验、字符修复、初步的风险词与清晰度过滤。这些环节用机器处理通常更高效、更一致（具体差距因任务与数据而异）。
但有几类判断目前仍难以交给机器独立决定：语义层面的对错（这段描述是否曲解了原意）、边界与主观性强的标注（情感极性、意图归类、疑难样本）、合规判断（是否涉及隐私、是否属于违规内容）、以及覆盖面与代表性（数据是否覆盖了真实场景中的各类情况）。这几类一旦判错，影响会直接传导到模型输出。
因此实际落地通常采用"机器预处理 + 人工抽检复核"的组合，同时把执行、审核、仲裁三类角色分开——不同角色由不同人承担，避免自己检查自己。至于抽检比例的取值，是否由适用的行业标准或合同条款给出具体要求，需按所在行业与项目约定逐项核对；在没有统一法规规定的场景下，通常由项目根据以下因素协商确定：
- 后果严重程度：安全、医疗、法律等相关数据，错标代价高，抽检强度应相应提高
- 标注难度：边界模糊、主观性强的任务需要更多抽样
- 批次质量历史：某批次问题集中时提高抽检密度，稳定后可适当降低
- 合同或行业要求：甲方的验收条款或所在行业的规范可能给出具体数值
个人信息与敏感内容怎么处理
训练数据中如果包含个人信息，处理不当会带来合规风险。常见的处理路径有三类，按处理目的、法律依据与风险情况选择，不是强度递进阶梯：
- 剔除：与训练目标无关的个人信息直接从数据集中删除
- 去标识化/脱敏：移除或替换直接标识符，必要时对间接标识符做泛化处理
- 保留并记录依据：确实需要保留的（如人脸训练数据），应有明确的授权依据和处理记录，并对访问与使用范围做控制
在国内，个人信息去标识化有对应的推荐性国家标准可参考：GB/T 37964-2019《信息安全技术 个人信息去标识化指南》用于选择去标识化技术并管理处理过程，GB/T 42460-2023《信息安全技术 个人信息去标识化效果评估指南》用于评估重识别风险是否可接受。涉及敏感个人信息或重要数据的，还应结合数据分类分级结论确定处理方式。
需要注意：去标识化不等于匿名化，处理后的数据是否仍属个人信息，取决于重识别的可能性和可用手段，应以具体场景下的评估结论为准，不能仅凭"已脱敏"就认定不再适用个人信息保护要求。
相关标准与合规要求
训练数据的处理在国内已有相应的推荐性国家标准。下列几部与本文环节直接相关：来源授权、样本划分与版本追溯的方法，可参考「AI 模型训练数据治理指南」（瑞铭百科）。
| 标准编号 | 名称 | 与本文相关的环节 |
|---|---|---|
| GB/T 45652-2025 | 网络安全技术 生成式人工智能预训练和优化训练数据安全规范 | 训练数据的采集、内容安全、质量保障与全流程安全管理；适用于预训练与优化训练数据处理活动及安全评估 |
| GB/T 45674-2025 | 网络安全技术 生成式人工智能数据标注安全规范 | 标注平台与工具、标注规则、标注人员管理、标注核验；适用于标注组织方，可供需求方验收参考 |
| GB/T 42755-2023 | 人工智能 面向机器学习的数据标注规程 | 标注项目的需求、方案、实施、质量评价与交付全流程 |
| GB/T 36344-2018 | 信息技术 数据质量评价指标 | 数据质量的评价维度，为训练集质量评价提供底层方法 |
怎么验收：抽检方法与质量指标
交付环节最容易产生分歧的地方是"质量好不好"没有共同定义。数据提供方关注合规与完整，标注方关注准确率，模型开发方关注模型训练后的实际效果——三方口径不同，容易各执一词。建议在项目开始前就把下面几项写进验收条款：
- 明确的评价指标：例如准确率、一致性、覆盖率的定义与计算方式；多标注员的情形还应约定一致性度量办法（类别标注可评估 Kappa 等统计量；目标框、分割、转写等任务另行选择指标，适用条件、计算方法与阈值应写入合同）
- 抽样方法：抽样单位（按条、按批次还是按标注员）、抽样是否分层、随机种子或抽样清单如何留痕
- 判定与处置：合格线多少、单批不合格是整体返工还是部分返修、返工后的复检流程
- 追溯要求：是否需要保留原始数据、清洗后数据、标注数据各阶段的对应关系与处理日志
- 已知局限声明：交付时应说明数据集已知的分布偏差、标注难点和适用边界，避免后续使用时产生误判
关于一致性指标：Cohen's Kappa 适用于两名标注者的情形，Krippendorff's alpha 可支持多名标注者与不同标度；数值达到多少算"一致"没有通用标准，通常由业界经验结合任务难度约定，不应跨项目直接套用同一阈值。
图：桌面材料核对——验收条款中的抽样与判定口径应在项目开始前约定
常见误区
误区一：清洗越彻底越好。过度过滤会同时删掉罕见但有价值的样本，导致模型在长尾场景表现下降。删除规则应先论证再执行，并保留被删样本清单以便回溯。
误区二：机器审核可以完全替代人工。机器能高效完成去重、格式与初筛，但语义正确性、合规性、边界判定的判断仍需人工。合理定位是人机协同，而非替代。
误区三：准确率达标就等于数据好用。经常出现的情况是：标注准确率符合约定，但训练集分布与真实场景不符，或存在训练集与测试集混用导致分数虚高，模型上线后表现不及预期。验收时应同时关注质量合格率与场景适配性。
误区四：审核和标注由同一批人完成。自己检查自己容易放过系统性偏差。应尽量做到执行、审核、仲裁角色分离，并由独立方对争议样本做裁断。
误区五：脱敏之后就不再受个人信息保护规则约束。去标识化数据的属性取决于重识别风险，需要结合可用数据和手段做评估，不能仅凭处理动作下结论。
| 层级 | 执行责任 | 依据 | 产出 |
|---|---|---|---|
| 原始数据层 | 数据提供方负责来源与授权 | 授权依据与采集记录 | 数据源清单 |
| 清洗层 | 负责清洗的人员/组织按规则执行（工具是执行手段） | 清洗规则文档 | 规整数据集与清洗日志 |
| 标注层 | 标注团队负责规范执行 | 标注规范 | 带标签数据 |
| 审核层 | 独立审核方负责抽检与判定 | 验收标准与抽检方案 | 质检报告与批次结论 |
| 交付层 | 项目方组织交付 | 验收条款 | 质检报告与已知局限说明 |
数据自原始数据层逐层流向交付层，审核贯穿清洗与标注过程，不合格批次回到对应规则或任务重修；任一层的记录缺失，后续质量追溯都会出现断点。
瑞铭安普提供数据处理相关服务，涵盖数据清洗、标注与质量审核等环节，支持文本、图像、视频及多模态数据。具体支持的数据类型、质检方式、抽检强度与交付标准需根据项目需求确定，可在 rmanp.com 产品与平台栏目查看相关介绍，或联系我们沟通你的数据集需求。数据与模型服务的整体说明，可查看数据与模型服务栏目。