最快的 ★文本分割去重复★ 没有之一 [并行计算] 2026-01-06

蜗牛人生 · 发表于 2025-12-12 15:53:28

本帖最后由蜗牛人生于 2026-1-6 14:33 编辑

并行计算版本本质上是使用多线程来去重,在我电脑上:
550M文件,3000万行,去重用时2.3秒
注意: 分享的是调用DLL的例子..不是纯源码
介意的话右上角 X

需要注意, 调试模式下,可能会内存不足..

内存占用峰值大概是1G左右..

排除文件数据大小555M
和记录重复数据项: (30000000*4)/1024/1024 ≈ 114M
也就是1024-555-114

内部会占用大概355M内存..
当然这355M不是固定的...是根据数据的大小而决定的.
但通常会比数据本身占用的内存更少

如果是哈希表去重的话..内部占用2G起步...
时间耗时打底也要翻几倍...

估计没有更节约内存+更快的方法了~

有人用取巧的方式, 表示不服, 因此再提速一下~

并行计算版本:

如需定制软件练联系QQ:11345429

最快去重.7z (130.32 KB, 下载次数: 106)

旋律小帅 · 发表于 2026-3-5 18:53:26

学习学习

lijunfa12345 · 发表于 2026-1-19 16:13:05

这个看看

我的yyy123 · 发表于 2026-1-17 18:00:49

学习学习

futiem · 发表于 2026-1-17 17:47:32

最快的 ★文本分割去重复

qsedu · 发表于 2026-1-10 14:01:13

感谢分享

淘气小阿飞 · 发表于 2026-1-9 18:50:32

666666666666666666666

Tobin5 · 发表于 2026-1-9 12:08:06

感谢分享！

yushizhuo · 发表于 2026-1-8 15:36:26

666666666666666

By平凡 · 发表于 2026-1-7 22:32:14

单线程要10秒，之后再搞多线程试下。

		自动登录	找回密码
密码			注册

[易源码分享] 最快的 ★文本分割去重复★ 没有之一 [并行计算] 2026-01-06

浏览过的版块