文本去重
去重设置
比对规则只影响“是否算同一条”的判断,输出时仍然保留原始写法。修改任意选项会自动重新计算。
待处理文本
原始条目:0参与比对:0不同内容:0重复条目:0输出条目:0
去重结果
重复明细
| 序号 | 内容 | 出现次数 |
|---|---|---|
| 点击“开始去重”后,这里会列出被重复的条目及次数。 | ||
工具简介
整理名单、链接、关键词或导出数据时,重复条目往往散落在成千上万行里,靠肉眼筛查既慢又容易漏。本工具把这件事交给浏览器:粘贴文本后一次扫描完成,重复项合并、唯一项保留,并同步给出条目数量的前后变化。
四种去重模式
除常规的保留首次出现,还能保留最后一次出现、只挑出从未重复的条目,或者反过来只看哪些内容出现了多次。
比对规则可调
首尾空白、英文大小写、内部空格以及标点符号都能单独决定是否参与比对,避免格式差异让同一条数据被当成两条。
多种拆分与导出
支持按行、逗号、空白或自定义符号拆分,结果可换行或逗号拼接,并能复制、下载 TXT、导出带次数的 Excel。
使用方式
- 把需要清理的内容粘贴到右侧输入框,不确定格式时先用默认的“按行拆分”。
- 在左侧选择去重模式与比对规则,调整后页面会立即重新计算,无需反复点击。
- 查看统计条确认删掉了多少条目,再通过复制、下载 TXT 或导出 Excel 带走结果。
- 想知道哪些内容被重复提交,可直接看下方的重复明细表格及其出现次数。
常见问题
条目数量有上限吗?
运算全部发生在你的浏览器里,没有服务端限制。十万条以内通常瞬间完成,更大的文本建议分批处理,以免页面出现短暂卡顿。
输出内容会被改写吗?
不会。忽略大小写、空白、标点这些规则只用于判断两条内容是否相同,写入结果时仍采用文本里原来的写法。
“只保留出现一次的内容”和普通去重有什么区别?
普通去重会把重复项合并成一条并保留;该模式则会把所有出现过两次以上的内容整体剔除,只留下真正独一无二的条目。
文本会被上传吗?
不会。拆分、比对、排序以及 TXT 与 Excel 文件的生成都在本地完成,页面不会把输入内容发送到服务器。
