怎么样才能让第一次抓取的和第二次抓取去去重

honghu8520

我想让它第一次和第二次抓取去掉重复的 ，只留下最新的评论，不知道怎么写......

demo.e (861.56 KB, 下载次数: 6)

2020-7-13 11:23 上传

点击文件名下载附件

kerry9

采集一个循环一次判断一次！

honghu8520

kerry9 发表于 2020-7-13 11:35
采集一个循环一次判断一次！

具体应该怎么写？  不大懂

ezzuhao

  

如果 (mitu5.解析 (mitu4))
mitu6 ＝ mitu5.成员数 (“comments”)
调试输出 (mitu6)
计次循环首 (mitu6, mitu7)
处理事件 ()
如果真 (文本_寻找文本 (评论回复ID汇总, 评论用户回复ID, ) ≠ -1)
评论内容 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].text”, )
评论用户ID ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].aweme_id”, )
评论用户回复ID ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].cid”, )
评论回复ID汇总 ＝ 评论用户回复ID ＋ #换行符
评论用户名称 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.nickname”, )
评论用户生日 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.birthday”, )
评论用户签名 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.signature”, )
评论用户自定义id ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.unique_id”, )
评论用户ID1 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.uid”, )
评论用户抖音ID ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.short_id”, )
评论用户性别 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.gender”, )  ' 1是男2是女0是不男不女
评论用户头像 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.avatar_thumb.uri”, )
评论用户头像 ＝ 选择 (取文本左边 (评论用户头像, 4) ＝ “http”, 评论用户头像, “https://p1-dy.byteimg.com/aweme/” ＋ 评论用户头像)

mitu8 ＝ 超级列表框1.插入表项 (, , , , , )
超级列表框1.置标题 (mitu8, 0, 到文本 (mitu8 ＋ 1))
超级列表框1.置标题 (mitu8, 1, 评论用户ID)
' 超级列表框1.置标题 (mitu8, 2, 评论用户回复ID)
超级列表框1.置标题 (mitu8, 2, 评论内容)
' 超级列表框1.置标题 (mitu8, 4, 评论用户ID1)
超级列表框1.置标题 (mitu8, 3, 评论用户抖音ID)
超级列表框1.置标题 (mitu8, 4, 评论用户名称)
' 超级列表框1.置标题 (mitu8, 7, 评论用户自定义id)
' 超级列表框1.置标题 (mitu8, 8, 评论用户签名)
' 超级列表框1.置标题 (mitu8, 9, 评论用户性别)
' 超级列表框1.置标题 (mitu8, 10, 评论用户生日)
超级列表框1.置标题 (mitu8, 5, 评论用户头像)
计次循环尾 ()

i支持库列表	支持库注释
spec	特殊功能支持库
iext	扩展界面支持库一

.版本 2<br /> .支持库 spec<br /> .支持库 iext<br /> <br /> .如果 (mitu5.解析 (mitu4))<br />     mitu6 ＝ mitu5.成员数 (“comments”)<br />     调试输出 (mitu6)<br />     .计次循环首 (mitu6, mitu7)<br />         处理事件 ()<br />         .如果真 (文本_寻找文本 (评论回复ID汇总, 评论用户回复ID, ) ≠ -1)<br /> <br />             评论内容 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].text”, )<br />             评论用户ID ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].aweme_id”, )<br />             评论用户回复ID ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].cid”, )<br /> <br />             评论回复ID汇总 ＝ 评论用户回复ID ＋ #换行符<br /> <br />             评论用户名称 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.nickname”, )<br />             评论用户生日 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.birthday”, )<br />             评论用户签名 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.signature”, )<br />             评论用户自定义id ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.unique_id”, )<br />             评论用户ID1 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.uid”, )<br />             评论用户抖音ID ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.short_id”, )<br />             评论用户性别 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.gender”, )  ' 1是男2是女0是不男不女<br />             评论用户头像 ＝ mitu5.取通用属性 (“comments[” ＋ 到文本 (mitu7 － 1) ＋ “].user.avatar_thumb.uri”, )<br />             评论用户头像 ＝ 选择 (取文本左边 (评论用户头像, 4) ＝ “http”, 评论用户头像, “https://p1-dy.byteimg.com/aweme/” ＋ 评论用户头像)<br /> <br /> <br />         .如果真结束<br /> <br /> <br /> <br />         mitu8 ＝ 超级列表框1.插入表项 (, , , , , )<br />         超级列表框1.置标题 (mitu8, 0, 到文本 (mitu8 ＋ 1))<br />         超级列表框1.置标题 (mitu8, 1, 评论用户ID)<br />         ' 超级列表框1.置标题 (mitu8, 2, 评论用户回复ID)<br />         超级列表框1.置标题 (mitu8, 2, 评论内容)<br /> <br />         ' 超级列表框1.置标题 (mitu8, 4, 评论用户ID1)<br /> <br />         超级列表框1.置标题 (mitu8, 3, 评论用户抖音ID)<br />         超级列表框1.置标题 (mitu8, 4, 评论用户名称)<br />         ' 超级列表框1.置标题 (mitu8, 7, 评论用户自定义id)<br />         ' 超级列表框1.置标题 (mitu8, 8, 评论用户签名)<br />         ' 超级列表框1.置标题 (mitu8, 9, 评论用户性别)<br />         ' 超级列表框1.置标题 (mitu8, 10, 评论用户生日)<br />         超级列表框1.置标题 (mitu8, 5, 评论用户头像)<br />     .计次循环尾 ()<br /> .否则

ezzuhao

如图如附件

媳妇你看月亮

加入数组 和数组匹配 不在数组内的评论加入超级列表框

67449123

运行后抓到是空的json 所以不知道有什么
找个评论唯一的id
节点.加入属性("评论id")=真 再插入

honghu8520

ezzuhao 发表于 2020-7-13 11:52
如图如附件

好像不行，第一次获取直接全部空了

ezzuhao

honghu8520 发表于 2020-7-13 14:53
好像不行，第一次获取直接全部空了

那你就改成：评论ID汇总=评论ID汇总+评论用户ID+#换行符     呀

honghu8520

67449123 发表于 2020-7-13 12:14
运行后抓到是空的json 所以不知道有什么
找个评论唯一的id
节点.加入属性("评论id")=真 再插入

不知道怎么搞.......