迅捷搜.最快去重复 [亿级去重]

蜗牛人生 · 发表于 2026-1-6 20:05:58

本工具基于最快的 ★文本分割去重复★ 没有之一 [并行计算] 2026-01-06 开发
不过,它是64位的..所以支持超大文件前提是内存足够.

软件支持命令行调用:

您可以很方便的通过命令行集成到您的项目中 (不允许用于违法项目.)
控制台输出的是英文, 为什么不是中文呢(其实我也是翻译的)..因为乱码, 懒得折腾了...

数据量: 415589244 (4.15亿)
文件大小: 6.49G
内存峰值: 16.5G
开启多核加速去重耗时: 33.03秒
单核去重耗时: 65.01秒
保留数量: 415589244 (4.15亿)
重复数量: 0
说全网最快不算过分吧?

实测图:

最快去重.7z (246.71 KB, 下载次数: 17)

蜗牛人生 · 发表于 2026-1-7 15:17:29

你不丑发表于 2026-1-7 13:59
用cmd执行没有任何执行完毕的提示啊

cmd,还真没有...你用这个就可以了

.版本 2
.支持库 spec

运行控制台程序 ("--------", 正常, 错误, )
调试输出 (正常, 错误)

蜗牛人生 · 发表于 2026-1-7 15:10:00

你不丑发表于 2026-1-7 13:59
用cmd执行没有任何执行完毕的提示啊

啊,cmd可以输入的时候,就是进程退出了啊

你不丑 · 发表于 2026-1-7 13:59:55

蜗牛人生发表于 2026-1-7 05:07
你等进程结束...它就处理完了...处理完,进程会退出的..

用cmd执行没有任何执行完毕的提示啊

禁止千翻 · 发表于 2026-1-7 09:17:23

挺好，电脑就大量有重复的

蜗牛人生 · 发表于 2026-1-7 05:07:45

你不丑发表于 2026-1-7 04:59
那就处理完了给个反馈呗不然调用命令行之后怎么知道处理玩了没有啥提示都没有 ...

你等进程结束...它就处理完了...处理完,进程会退出的..

蜗牛人生 · 发表于 2026-1-7 05:06:47

你不丑发表于 2026-1-7 04:59
那就处理完了给个反馈呗不然调用命令行之后怎么知道处理玩了没有啥提示都没有 ...

有输出的呀,你用cmd执行一下,就知道了...这个程序就是调用自身命令行来去重复的...捕获到输出的信息,然后添加到编辑框里...

你不丑 · 发表于 2026-1-7 04:59:31

蜗牛人生发表于 2026-1-7 02:36
搞不了啊...里面是多线程的..回调也是多线程...你碰一下组件就挂...而且严重拖慢速度... ...

那就处理完了给个反馈呗不然调用命令行之后怎么知道处理玩了没有啥提示都没有

蜗牛人生 · 发表于 2026-1-7 02:36:58

你不丑发表于 2026-1-7 02:32
这个不错建议搞一个回调或者啥的可以实时查看处理进度实在不行来个处理完成之后的反馈也行啊返回统计 ...

搞不了啊...里面是多线程的..回调也是多线程...你碰一下组件就挂...而且严重拖慢速度...

你不丑 · 发表于 2026-1-7 02:32:20

这个不错建议搞一个回调或者啥的可以实时查看处理进度实在不行来个处理完成之后的反馈也行啊返回统计的结果用json 格式统计一下再不济直接返回一段固定的文本统计一下呗

		自动登录	找回密码
密码			注册

[原创软件] 迅捷搜.最快去重复 [亿级去重]