从 Excel 粘来的名单:去重与排序的正确顺序

从表格里复制一列粘进文本框,你拿到的不是干净的名单,而是带着格式、隐形字符和换行残留的混合物。直接去重,重复项还在;直接排序,第 10 条跑到了第 2 条前面。

从 Excel 或飞书表格里复制一列,粘进任何文本框,你拿到的都不是「一列干净的名单」,而是一份带着格式、隐形字符和换行残留的混合物。直接去重,你会发现重复项还在;直接排序,你会发现「第 10 条」跑到了「第 2 条」前面。问题不在工具,在顺序。

下面这套顺序是试出来的:每一步只做一件事,前一步的结果是后一步的前提,顺序换一下就出错。做完一遍,名单可以直接拿去群发、导入系统或交给同事。

六步清洗顺序

第一步:先落成纯文本

先别急着去重,先把富文本变成纯文本。从表格复制的内容带着单元格边界、超链接和颜色,粘进文本框时往往会附带看不见的制表符或者零宽字符。粘进工作台的文本框,本身已经丢掉了格式,但如果你的内容里还混着制表符(一行被拆成多列),先用「去掉行首行尾空格」处理一轮,多数制表符就在行首或行尾,一去就掉。

Excel 里还有一种情况:单元格内换行。在单元格里按 Alt+Enter 换行,一个「北京分公司」的地址会变成三行,复制出来就是三行独立数据,行数与真实记录数对不上。粘贴前先在 Excel 里把换行替换掉,或者粘贴后按语义判断哪几行该合并。

第二步:统一空白字符

这一步最容易被跳过,也是「去了重还是有重复」的头号原因。视觉上一样的空格至少有三种:半角空格(U+0020)、全角空格(U+3000,中文输入法下按 Shift+空格常打出来)、不换行空格(U+00A0,网页复制时最常见)。「北京市 」和「北京市」在两个空格种类下是不同的字符串,去重逻辑按精确匹配走,就留下两条。

处理办法是先「去掉行首行尾空格」,再肉眼扫一遍中间的空格。中间的全角空格需要手动替换:在 Excel 里用查找替换,查找内容输入一个全角空格,替换为空。如果名单很长,可以对整列做一次 TRIM,再补一次全角空格替换——Excel 的 TRIM 只认半角空格,全角的需要 SUBSTITUTE(A1," ","") 这种写法。

第三步:删除空行

粘进来的空行有三种来源:Excel 里本来就有空行、复制时多带的一行、以及单元格里的空字符串。不删的话,排序之后它们会集中到最前面,加了行号之后还会让你的编号从 8 开始。

「删除空行」按「只含空格或制表符」判断,所以第二步没做完就删,会漏掉那些「看起来空、其实有一个全角空格」的行。这也是顺序不能换的原因:先去空白,再删空行。

第四步:去重

去重保留第一次出现的那一行。这一步要在排序之前做,因为你通常想保留的是「原始顺序里第一次出现」的那条记录——名单里第一次出现的时间戳、备注往往更有价值。先排序再去重,留下的是排序后位置上的那一条,语义就变了。

精确匹配意味着大小写和空白都算差异。Zhang Wei 和 zhang wei、13800138000 和 138 0013 8000 都会被当成两条。要合并它们,得先做归一化:英文姓名统一小写、手机号去掉空格和短横线。归一化会改变数据本身,所以要么在副本上做,要么接受「看起来像重复、实际是两条」的结果。

第五步:排序

排序放在去重之后,有两个好处:一是结果稳定,同一份名单排两次结果一样;二是能一眼看出还有没有近似重复——归一化没做干净的那些变体,排序后会挨在一起。

排序的规则值得单独说一句:本工具用的是自然序(natural sort),数字按数值大小比较,所以「第 2 条」排在「第 10 条」前面。Excel 和多数数据库的默认排序把内容当字符串逐字符比较,「10」的第一个字符是「1」,就排在了「2」前面。名单里一旦有编号、门牌号、章节号,这个差别就很刺眼。

中文排序还有一层:按拼音还是按笔画。同一批数据在不同系统里排序结果不同,多半是这个原因。做跨系统比对的名单,最好统一加一列显式的排序键(比如拼音首字母),不要依赖默认排序。

第六步:加序号,然后复核数量

最后加行号。加完之后先看总数:清洗前多少行、清洗后多少行、去掉了多少重复、删了几行空行,这四个数字应该能对上。对不上就是中间某步出了问题,常见的是「去重前没去空白」导致重复没去干净。

如果名单要给客户看,加完行号可以再「反转行序」,让最新的记录排在最上面——这一步必须在加行号之后做,否则序号会跟着倒过来。

Excel 自己的六个坑

上面讲的是文本侧的处理。数据还在表格里的时候,另外六个坑更隐蔽:

  • 手机号变成科学计数法。11 位数字粘进 Excel 会被识别成数值,显示为 1.38001E+10,后四位直接丢失。粘之前先把列格式设为「文本」,或者粘贴时选「匹配目标格式」。
  • 前导零消失。邮编 010010 变成 10010,工号 007 变成 7。同样是文本格式问题,而且丢了之后无法从数据本身恢复。
  • 日期被自动转换。输入 3-4 会变成「3 月 4 日」,输入 1-2 变成「1 月 2 日」。产品型号、版本号、比例数据最容易中招。
  • 合并单元格只保留左上角的值。复制一列合并过的单元格,得到的是一堆空行加一个值。取消合并之后用「定位空值」填充,才能还原。
  • CSV 里的逗号与引号。导出 CSV 时,字段内的逗号会被引号包起来;用文本编辑器打开看到 "北京, 朝阳",那不是数据里多了引号,是 CSV 的转义规则。清洗时按引号规则解析,别按逗号硬切。
  • 不可见字符。从网页或 PDF 复制的内容里可能有零宽空格(U+200B)和软连字符(U+00AD)。它们不占视觉位置,却让两行永远不等于彼此。Excel 的 CLEAN 能去掉一部分控制字符,零宽字符需要显式替换。

一个真实的工作流

假设你要把市场同事给的 1200 行活动报名名单去重,自己发短信。流程是:先在 Excel 里把手机号列设为文本格式(避免科学计数法),复制整列;粘进工作台;点「去掉行首行尾空格」,再点「删除空行」,此时行数已经从 1200 降到 1180 左右;点「去除重复行」,通常会再掉 50 到 80 行,因为同一个手机号报了两次;点「A→Z 排序」,让相同号码挨在一起,肉眼复查一遍;最后「添加行号」,把结果复制回表格。

整个过程的判断依据只有总数变化。如果去重后行数几乎没变,检查是不是有全角空格或不可见字符;如果删空行后行数没变,可能是空行里还有制表符。这两个信号能覆盖九成的返工。

常见问题

去重之后顺序乱了怎么办?

去重本身不改变顺序,它保留的是第一次出现的位置。如果你看到顺序乱了,通常是先做了排序。想要「去重但保持原顺序」,就先做去重,再按需要排序;想保留原始顺序又想要排序结果,先复制一份原文再排。

为什么去重后还有看起来一样的行?

因为它们不完全一样。用「按长度排序」能快速定位:长度不同说明有隐形字符或空行差异;长度相同但排序后不挨着,说明大小写或全半角不同。这是排查重复项最快的办法。

名单里有中文和英文混排,排序结果很奇怪?

自然序比较时用的是系统的区域设置。中英混排时,通常字母排在汉字前面,数字按数值处理。如果结果和同事的不一样,多半是系统语言不同。需要严格一致的顺序时,给每条记录加一个英文或数字的排序键,别依赖默认行为。

需要顺手统一大小写(比如邮箱列),见七种大小写风格;名单最终要做成网页链接,slug 规则在slug 生成指南里。

本文由 TextBench 团队撰写。最后更新:2026 年 11 月 19 日。