记录一种 查重偷鸡技巧

嫂子

假设有一个 超长字符串，希望给按行去重复
常规思路：-->  按行分割然后去重复。

按行分割（就用查找换行符或者直接分割文本）--效率低下
去重复（哈希表去重）--效率还行

偷鸡思路：
将字符串当作字节流处理（易语言是字节集或者是字符串指针逐个字符[因为易语言是ANSI字符串]），查找换行符  
然后优化 换行符 再windows下是 \r\n 也就是 字符(13)+字符(10).那么我们逐个字节搜索的时候直接搜13.然后跳过2个字符。（需要确保是win下的\r\n换行才适用）
剩下就是 优化哈希表的一些算法了。

更加激进的办法：
不真正分割 只扫描位置，得到每一行的开始位置和结束位置，读取出来查重后，返回的结果只保留位置信息。
比如  位置1-位置10  这一行是重复的 或者不是重复的 这样记录下来。
使用的时候从内存中真正读取回来。
速度就可以成倍数提升了。

神女软件定制

我一般用strtok("\r\n")，不管他是\r还是\n，还是\r\n

笨来无一悟

恭喜你找到了正确姿势

zz0147

思路不错