最快的 ★文本分割去重复★ 没有之一 [并行计算] 2026-01-06

tankw

66666666666666

kanhaiyouyue

超级无敌快...................................

year1970

感谢分享

cow

试一试

蜗牛人生

嫂子 发表于 2025-12-13 13:55
很简单  既然信不过 那就你准备数据 不就好了。
你准备好数据发上来。
要求 载入 去重 全部计入时间。来吧 ...

没必要.浪费时间..我已经知道结果了..githug上的开源哈希表我大多都试过了..内存占用太高..我才自己写算法去重..要试..你自己去测试了~

如果有更快的..自然会有人发帖来打我的脸~

嫂子

蜗牛人生 发表于 2025-12-13 13:47
嗯~即使你代码发出来了..我依旧认为我的这个去重复是最快的.没有之一~

你找一个样本50%重复的对比一下就 ...

很简单  既然信不过 那就你准备数据 不就好了。
你准备好数据发上来。
要求 载入 去重 全部计入时间。来吧 我等你的数据另外还要对比  内存占用  你说的

蜗牛人生

嫂子 发表于 2025-12-13 13:37
20楼就带了源码 你不看啊。。。。总共就几句代码。。。。给你截图了还不够？ ...

嗯~即使你代码发出来了..我依旧认为我的这个去重复是最快的.没有之一~

你找一个样本50%重复的对比一下就知道了哦~你这个样本重复率是99.5%

映射读取.且你没有导出未重复,重复的样本..本质上是取巧了..开始你问我..我也和你说了..特定这种的情况下.可能不是最快的..
然后你就用这种特定的方式来质疑..很奇怪~

嫂子

蜗牛人生 发表于 2025-12-13 13:32
那你把你写的这个更快的发出来呀...论坛的人自己会测试..有自己的数据样本..有自己的观感~

实际上..重复 ...

20楼就带了源码 你不看啊。。。。总共就几句代码。。。。给你截图了还不够？

蜗牛人生

嫂子 发表于 2025-12-13 12:58
1.我和你测试数据是一样的 不是90%重复啊。
2.你没有考虑编码的意思是  编码考虑也是要时间的
3.你没有考 ...

那你把你写的这个更快的发出来呀...论坛的人自己会测试..有自己的数据样本..有自己的观感~

实际上..重复率99+% 可以更快..
只需要映射就可以了...
如果重复率是100% 甚至哈希表都不需要...
只要读第一条就可以了...
后面默认是重复的~

嫂子

蜗牛人生 发表于 2025-12-13 11:24
你开心就好~
在内存里,..不显示,不找文字,可以当作没有编码问题..只要找到 \0 就行了 如果你不知道\0是啥 ...

1.我和你测试数据是一样的 不是90%重复啊。
2.你没有考虑编码的意思是  编码考虑也是要时间的
3.你没有考虑读入时间
4.1 2 3全算上你也是慢的  何来最快一说。