手机号码去重一千万2秒内，bitmap支持百亿号码，仅耗内存1.2G

465228962 · 发表于 2021-8-17 14:19:12

465228962 发表于 2021-8-17 14:17
测试过了，主要还是重复率的问题，这个是影响速度的关键

还有就是asm的哈希表还是不支持过大数据量处理，毕竟易语言32位内存到1.7G就崩溃了，你的处理不能超过一亿，我这个去重100亿也是没问题的

465228962 · 发表于 2021-8-17 14:17:16

超级の赛亚人发表于 2021-8-17 14:14
在优化估计得优化哈希表内部

测试过了，主要还是重复率的问题，这个是影响速度的关键

超级の赛亚人 · 发表于 2021-8-17 14:14:44

本帖最后由超级の赛亚人于 2021-8-17 14:17 编辑

QQ截图20210817135633.png

在优化估计得优化哈希表内部,添加数据比较耗时！

465228962 · 发表于 2021-8-17 12:46:47

超级の赛亚人发表于 2021-8-17 11:02
看看这个，不保证没有bug

重复率不要设置那么高，你这样等于32W的耗时，把重复率设置到10%以下，你在试试，强行大量重复测试就没意思了哈

超级の赛亚人 · 发表于 2021-8-17 11:02:51

本帖最后由超级の赛亚人于 2021-8-17 11:04 编辑

QQ截图20210817105917.png

手机号高效去重复.rar (322.54 KB, 下载次数: 7)

超级の赛亚人 · 发表于 2021-8-17 08:37:43

给你换台电脑跑

超级の赛亚人 · 发表于 2021-8-17 08:30:13

465228962 发表于 2021-8-17 00:19
当你没经过测试就来开喷的时候，你没尊重我的劳动成果，我需要尊重你？搞笑的么 ...

你要的尊重就是，别人连你代码都跑不起来，过来喷你？都没测试好。你瞎发什么？这样就叫尊重？

超级の赛亚人 · 发表于 2021-8-17 08:28:52

465228962 发表于 2021-8-17 00:19
当你没经过测试就来开喷的时候，你没尊重我的劳动成果，我需要尊重你？搞笑的么 ...

怎么个不尊重了，你那代码一点就崩溃，我说什么了？我就猜测了下可能几百毫秒。有必要？。你电脑4，5秒不代表我电脑也是！有必要这么针锋相对？

465228962 · 发表于 2021-8-17 00:19:18

超级の赛亚人发表于 2021-8-16 20:54
有事说事就行，说尼玛什么张开眼睛。说话怎么就鸡巴讽刺人？

当你没经过测试就来开喷的时候，你没尊重我的劳动成果，我需要尊重你？搞笑的么

超级の赛亚人 · 发表于 2021-8-16 20:54:11

465228962 发表于 2021-8-16 12:08
你是不是对时间有什么误解啊，1000w4.9秒和我1.9秒比？还有眼睛就张开看看把大哥，别说几线程，ASM的哈希 ...

有事说事就行，说尼玛什么张开眼睛。说话怎么就鸡巴讽刺人？

		自动登录	找回密码
密码			注册

[易源码分享] 手机号码去重一千万2秒内，bitmap支持百亿号码，仅耗内存1.2G