数据清洗怎么做？去重规则和字段口径这2件先定死

数据清洗怎么做，指的是把重复值、缺失值、异常值这3类脏数据处理成可用数据的整套动作。关键在先把去重规则和字段口径这2件定死，而不是先比工具先不先进。

我见过太多新店，Excel 插件装了 3 个，脚本也写了，一到对账还是两个数。问题从来不在工具，在没人说清楚「一个用户算几个」。

原因很直白：这两件不定，以后每一次跑来问「为什么数据对不上」的沟通，都会重新吵一遍，而每吵一次就多一份手工改过的表。依据《高阶运营方法论8-用户增长》，用户增长要以技术和数据为工具，从更高的高度整合业务发展的关键因素；工具是手段，规则才是前提。这句话反过来看也成立：规则没定，再好的工具也只是把同一个错误跑得更快。

数据清洗方法说到底就三步，去重规则永远排第一

完整的清洗方法其实只有三步：去重规则先定、字段口径对齐、校验跑一遍。工具排在这三步之后。

去重规则要落成一句能照念的话。我给新店的写法是：「同一手机号 + 同一课程，保留最早那笔报名，其余标记为重复。」

为什么必须有这句？因为重复值不是脏数据，它是同一件事被记了两次。去重规则定的是「一个用户算几个」，这个数定下来，去重才有标准。

第一、按主体定，主键是手机号、是设备号、还是微信号，只能选一个；第二、按业务定，一场活动、一单订单、一门课各自一个 ID，不要让它们混着算；第三、按场景定，报名和复购可以分开算人头，但两边的分母必须是同一批人。

我见过一家做职场课程的新店，报名表按手机号去重，订单表却按订单号去重。同一个学员续了课，两张表合计出 2 个人，月度报告的付费人数整整多算了 8%。

来源：高阶运营方法论8-用户增长（第4页）

这类错不用查很久，也不用写脚本。你把两张表各自抽 50 条对一遍页面，肉眼就能挑出来——重复值不吓人，重复值算两个人才吓人。

还有一类重复更容易漏：同一用户在两张表里都是唯一，但人是同一个人。比如手机号换了、微信号换了，报名记录就多了一条。这种情况建议在清洗阶段单独加一个「人」的标记列，而不是硬删。

主动去重的顺序也要讲：先按业务主键去重，再按时间保留最新或最早，最后才处理跨表合并。顺序反了，等于用脏数据去比对干净数据，只会越洗越乱。

字段口径不对齐，清洗做得再干净也是白做

字段口径指的是同一个字段在每张表里，指的一定是同一件事：怎么算、什么时候算、算的是谁。

先把最容易分叉的 4 个敲死，这 4 个我每次都写成一页纸贴在群里：一、用户怎么定义（注册、下单、付费，三选一）；二、金额取哪一列（原价、实付、还是到手）；三、时间取哪个点（下单时间、付款时间、还是系统入库时间）；四、留存怎么算（次日、7 日、还是 30 日）。

这 4 个不定死，两张表永远对不上。你对 A 部门说「本月新增 1200」，对 B 部门说「本月新增 980」，两边都没说谎，只是「用户」这两个字各自理解了一次。

据我经验，口径分歧最常出在时间和金额这两列：营销活动跨零点的那一单，算今天的还是算昨天的，全看当初谁先填的表。

编码不统一也是同一类病。渠道字段今天写「抖音」、明天写「dy」、后天写「抖音信息流」，机器当成 3 个来源；日期一会儿是 2026-03-01、一会儿是 03/01/2026，排序和筛选直接失效。挑个空闲的下午，把这几种写法列成一页对照，写死一套编码，每周对一次。

字段口径这件事，早对齐半小时，省下的是后面每一次复盘的来回扯皮。

落地上有个小技巧：口径不要只写在一份文档里，文档没人翻。把它挂在群里、贴在导表模板的第一行、写进周报开头，任何一次别人来问「这个数怎么算的」，你都直接回一句「看群公告第一行」。能被引用的规则才算规则，只在文档里的规则只是心愿。

补个参照系的话，数据分析报告里有一份现成的框架，省得从头搭。

缺失值和异常值怎么处理：先分「能补」和「不能补」

缺失值不要一律删，先分两类处理。能补的补，不能补的单列成一列放进分析里，让看报告的人自己判断。

能补的：手机号缺中间 2 位但订单表里有原值，回填；渠道字段空着但来源链接带 utm 参数，回填；日期格式错乱能顺手转正的，转正。

不能补的：复盘问卷里「未填写」的那部分，不要拿平均分硬填。填了，数据看着齐了，结论反而站不住。

这里有个新店常踩的坑：缺失值被工具贴上一个「无」字，它看起来就不空了。「无」不是数据，它只是把「不知道」写成了一个字，报表一汇总，就当成有效答案进了分母。

异常值分方向看：负数金额、0 元订单、单天 200 笔这种，先查是不是测试数据、爬虫、或者同事试单，多数异常值的来源是后台而不是业务本身。

以我自己的做法，异常值判断标准写死 2 个：单笔实付大于 1 万，标记；同一用户单日下单超过 10 笔，标记。数字随便定，但一定要先定，不然后面每笔都靠吵。

标记之后别急着删。异常值先单独放一张待确认列表，由做业务的人过一遍，是测试单就删、是真单就留。直接删掉的，往往是最有信息量的那几条。

校验这一步别省：3 条核对，5 分钟能做完

清洗完不是直接出报表，中间要有一道校验。它是这份数据能不能被信任的唯一凭据。

一、总数核对：清洗前后各是多少行，差在哪几类，每一类都要能说清原因；二、去重核对：随机抽 20 个 ID，逐个看它们在表里的条数，重复的那几个要能解释；三、口径核对：同一份数据用两套口径分别算一遍，两个数对不上就说明有一处没定死。

另外，上次已经处理过的重复批号，这次不要再处理第二遍——重复处理会造出新的一份重复值，比第一次更难查。

校验不用跑脚本，也不用等工具，5 分钟的核对能把大部分方向性错误挡在交付之前。

我自己的习惯是交付前一定自己先跑一遍，不把没核对过的表直接发出去。这一步很短，但它决定了别人收到表时是放心还是要去猜。

校验记录也要留痕：谁改的、什么时候改的、改了哪几条。下次有人问「这个 1200 是怎么来的」，翻记录比翻聊天记录快得多。

留痕还有个副作用是防扯皮。同一个人一周内改了两次同一批数据，记录里一眼能看见，不用等到月底复盘才吵「是不是你又动过了」。

宁可交一份说明得清来源的数据，也不要交一份漂亮但没人能复现的报表——前者的可信度是你自己挣来的。

来源：高阶运营方法论8-用户增长（第2页）

数据清洗方法落到日常：一份编码对照清单就够

把这套方法变成日常，其实用不着复杂的工具，一份编码对照清单加一页字段说明就够。

这张表就 3 列：标准编码（我们怎么写）、别人家怎么写（后台、导表、投放端各自的写法）、映射关系（哪几种写法归到同一个标准值）。

剩下交给时间：每周固定花 30 分钟，把新出现的写法补进这份清单，两个月之后脏数据基本只在报表里出现，不再出现在源表里。

想让清单真的有人用，还有个小办法：把它做成导表模板里的第一个工作表。同事一键复用模板，等于顺手把规则带走了，不用你反复提醒——规则跟着文件走，人就不会忘。

这就是这套动作最省事的形态。别把清洗当成一次性大扫除，它更像每周一次的整理，脏的数据当场不留。

省时间的地方也在这：表越干净，你自己取数的时间越短。省下来的时间，拿去改标题、调落地页，比在 Excel 里修格式有用得多。

延伸一层说，再往下就是罗一笑事件复盘的地界了，衔接得上。

留存率和复盘：口径稳不稳，看这两个数

留存率对新店最实用。它不像营业额那样受一次活动影响，基本能反映复购和口碑的真实走向。我一般月初第一件事就是把这个数拉出来，看它比上个月往上还是往下。

留存率的算式写死一个：留存率 = 当月仍在活跃的老用户数 ÷ 上个月的新增用户数。这一行写清楚，两个月的数据才敢比。

这里最容易出岔子的地方，是分母被悄悄换掉：上月新增算的是注册，本月活跃算的是付费，两个口径一拼，数字就飘了。飘出来的数看着涨了，其实只是两把尺子量出来的。

所以留存率的分母必须和「用户」的定义绑在一起。你定「付费算用户」，那上个月新增就只能数付费的人。

复盘也一样，盯 2 件事就够：一是本周新增数据里，重复值和缺失值各占多少比例；二是上次校验留下的待办，这次有没有真的补上。

这两件都记着，一般 3 个月左右，你对数据的信任感会明显不一样——不是因为它变准了，而是因为你终于知道自己手上每个数是怎么出来的。

这份信任的价值比想象中大。以后要投一笔新预算、要加一个新渠道，你手里的数敢用、能复现，决策就不会拖成一场没结论的会。

回到最初那句话：数据清洗的难点不在算法，在去重规则和字段口径这 2 件定不定死。我建议你今天先做一件事，从下面 2 个里挑一个：一是把「同一手机号 + 同一课程保留最早一笔」写成一句话，贴在群里；二是把「用户」的定义用一行字写好，发到对接的每个人手上。

你可以把这两句话放在同一张纸上，第二天导表的时候照着念一遍，脏数据处理完再进报表，你会发现对账时间短了一大截。

下一步不妨给自己定个习惯：每周花 30 分钟补一次编码清单，顺手把本周新出现的写法归位。

记住，清洗不是把工具换得更先进，而是把规则写得更清楚。这件事越早开始，后面越省事。

相关内容推荐

同类问题也常出现在这里，产品运营，举例最容易讲成功能说明书，其实它盯的是人有没有留下来

实操里绕不开的另一篇是，直播数据分析平台，带货复盘的好帮手

相关问答FAQs

Q：数据清洗怎么做，新店一个人有空搞吗？

A：有空。定死去重规则和字段口径大概一小时，之后的每周校验 30 分钟就够。真正费时间的是第一次导表时的来回确认，规则定下来之后基本不用再动。

Q：数据清洗方法里，缺失值一定要补吗？

A：不用一律补。能回填的（手机号、渠道字段）就补，回填不了的（问卷未填）建议单独列一列，放进分析里说明有多少人没填。硬填成一个平均数，出来的结论反而站不住。

Q：去重规则多久要改一次？

A：业务变了才改。比如从只卖线上课到加了线下班，人头的算法就可能要重新看。没有新业务就照旧，频繁改会让前后两个月的数据没法比。

Q：数据清洗要花钱买工具吗？

A：早期不用。Excel 的排序、筛选、条件格式加一份编码清单，能覆盖新店 90% 的清洗工作。等表多到手工处理不过来，再考虑上工具。

Q：清洗好的数据怎么确认没洗错？

A：跑一遍校验：清洗前后各多少行、差在哪几类，随机抽 20 个 ID 看条数，最后用两套口径分别算一遍。两个数对不上，就说明有一处口径还没定死。

参考文献

[1] 《高阶运营方法论8-用户增长》：提供了用户增长中北极星指标、复购率与留存相关指标的拆解思路，本篇的去重规则与字段口径对齐均以此为参照。