比对文本后写入

算法艺术家

还有一个方法，用哈希表给已写入数据做实时的映射，每次来新数据，就跟哈希表对比 看看是否存在，存在就跳过忽略，不存在就把新数据分别添加到文本和哈希表

算法艺术家

  

窗口程序集名	保 留	保 留	备 注
文本拒重录入, , 公开
变量名	类 型	数组	备 注
文件号Z	整数型
哈希表Z	哈希表_ASM
是否拒绝空行Z	逻辑型

子程序名	返回值类型	公开	备 注
_初始化			当基于本类的对象被创建后，此方法会被自动调用

子程序名	返回值类型	公开	备 注
_销毁			当基于本类的对象被销毁前，此方法会被自动调用

哈希表Z.清空 ()
关闭文件 (文件号Z)

子程序名	返回值类型	公开	备 注
销毁

哈希表Z.清空 ()
关闭文件 (文件号Z)

子程序名	返回值类型	公开	备 注
初始化参数	逻辑型
参数名	类 型	参考	可空	数组	备 注
文件路径	文本型
是否拒绝空行	逻辑型				默认假 可以写入空行

变量名	类 型	静态	数组	备 注
文本	文本型
文本组	文本型		0
i	整数型

文件号Z ＝ 打开文件 (文件路径, , )
如果真 (文件号Z ＝ 0)
返回 (假)
是否拒绝空行Z ＝ 是否拒绝空行
哈希表Z.创建 ( #文本型, #整数型, 16)  ' 容量 2的16次方除以1024  64KB
文本 ＝ 读入文本 (文件号Z, )
文本组 ＝ 分割文本 (文本, #换行符, )
计次循环首 (取数组成员数 (文本组), i)
哈希表Z.添加 (文本组 [i], 0)
计次循环尾 ()
返回 (真)

子程序名	返回值类型	公开	备 注
添加数据
参数名	类 型	参考	可空	数组	备 注
文本数据	文本型

变量名	类 型	静态	数组	备 注
i	整数型
文本组	文本型		0

文本组 ＝ 分割文本 (文本数据, #换行符, )
计次循环首 (取数组成员数 (文本组), i)
如果真 (是否拒绝空行Z ＝ 真)
如果真 (文本组 [i] ＝ “”)
到循环尾 ()


如果真 (哈希表Z.cha询 (文本组 [i]) ＝ 假)
哈希表Z.添加 (文本组 [i], i)
写出文本 (文件号Z, #换行符 ＋ 文本组 [i])

计次循环尾 ()

.版本 2<br /> <br /> .程序集 文本拒重录入, , 公开<br /> .程序集变量 文件号Z, 整数型<br /> .程序集变量 哈希表Z, 哈希表_ASM<br /> .程序集变量 是否拒绝空行Z, 逻辑型<br /> <br /> .子程序 _初始化, , , 当基于本类的对象被创建后，此方法会被自动调用<br /> <br /> <br /> <br /> .子程序 _销毁, , , 当基于本类的对象被销毁前，此方法会被自动调用<br /> <br /> 哈希表Z.清空 ()<br /> 关闭文件 (文件号Z)<br /> <br /> <br /> .子程序 销毁, , 公开<br /> <br /> 哈希表Z.清空 ()<br /> 关闭文件 (文件号Z)<br /> <br /> <br /> .子程序 初始化参数, 逻辑型, 公开<br /> .参数 文件路径, 文本型<br /> .参数 是否拒绝空行, 逻辑型, 可空, 默认假 可以写入空行<br /> .局部变量 文本, 文本型<br /> .局部变量 文本组, 文本型, , "0"<br /> .局部变量 i, 整数型<br /> <br /> 文件号Z ＝ 打开文件 (文件路径, , )<br /> .如果真 (文件号Z ＝ 0)<br />     返回 (假)<br /> .如果真结束<br /> 是否拒绝空行Z ＝ 是否拒绝空行<br /> 哈希表Z.创建 (#文本型, #整数型, 16)  ' 容量 2的16次方除以1024  64KB<br /> 文本 ＝ 读入文本 (文件号Z, )<br /> 文本组 ＝ 分割文本 (文本, #换行符, )<br /> .计次循环首 (取数组成员数 (文本组), i)<br />     哈希表Z.添加 (文本组 <i>, 0)<br /> .计次循环尾 ()<br /> 返回 (真)<br /> <br /> .子程序 添加数据, , 公开<br /> .参数 文本数据, 文本型<br /> .局部变量 i, 整数型<br /> .局部变量 文本组, 文本型, , "0"<br /> <br /> 文本组 ＝ 分割文本 (文本数据, #换行符, )<br /> .计次循环首 (取数组成员数 (文本组), i)<br />     .如果真 (是否拒绝空行Z ＝ 真)<br />         .如果真 (文本组 <i> ＝ “”)<br />             到循环尾 ()<br />         .如果真结束<br /> <br />     .如果真结束<br /> <br />     .如果真 (哈希表Z.cha询 (文本组 <i>) ＝ 假)<br />         哈希表Z.添加 (文本组 <i>, i)<br />         写出文本 (文件号Z, #换行符 ＋ 文本组 <i>)<br />     .如果真结束<br /> <br /> .计次循环尾 ()

补充内容 (2025-2-27 15:46):
写成了类，用的大佬的哈希表ASM模块 论坛里开源的

补充内容 (2025-2-27 16:01):
把销毁（） 的方法名 改成 关闭文件 ， 然后下边 只留一个 关闭文件 (文件号Z)  更合理一点

补充内容 (2025-2-27 16:03):
不用改了 还是之前那样就挺好

熬夜

你每次写都排重 不如直接写入到常量叠加起来先 排重一次或者两次后覆盖进去

1425113841

禁回忆 发表于 2025-2-27 13:04
原有4975条

一次性对比新增到6612条，算1600条吧

写的一般, 遍历太多. 我认为应该哈希去重. 你在我眼里属于妖魔鬼怪

zhining

？？？？？

禁回忆

1425113841 发表于 2025-2-27 19:37
写的一般, 遍历太多. 我认为应该哈希去重. 你在我眼里属于妖魔鬼怪

这确实是一般的写法，算是排序算法里的冒泡排序，您这种所说的哈希也顶多是根据散列值分组判断hash表中存不存在，进一步的用空间去换时间，然而不管哪一种方式，都比他读旧数据写进数组里，再把新数据写进数组里，再用数组_去重去保证唯一（而精易模块里的数组_去重写法和我的一样，你哪里来的遍历太多），最后再覆写来的好。但是如果您说的哈希去重是把数据都存到数据表里边去重之后再覆写，那您也是妖魔鬼怪。不管是用空间换时间还是时间换空间都可以，按自己的需求来，但是像这种浪费空间、浪费时间、又浪费硬盘读写的，他不是妖魔鬼怪是什么？纯属基础都没学好就出来误人子弟