最快的 ★文本分割去重复★ 没有之一 [并行计算] 2026-01-06

year1970 · 发表于 2025-12-13 12:46:36

感谢分享

蜗牛人生 · 发表于 2025-12-13 11:24:58

本帖最后由蜗牛人生于 2025-12-13 11:37 编辑

嫂子发表于 2025-12-13 10:50
你这哪里快了。。。。你这还只是内存去重没有数据读入或者生产过程，且不处理编码。
我的代码是把读文件处 ...

你开心就好~
在内存里,..不显示,不找文字,可以当作没有编码问题..只要找到 \0 就行了如果你不知道\0是啥的话当我没说
UTF8照样去重复~
给你普及一下知识:
gbk/utf8 以 \0结束 1字节
utf16 也是\0 2字节
utf32 也是\0 4字节
还有,注意我之前给你的回复..关于重复率的问题...重复率高意味着什么...
只要不是纯小白,懂的都懂~