开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 2131|回复: 23
收起左侧

[已解决] 关于爬行采集的问题,请教各位大神!感谢。

 关闭 [复制链接]
结帖率:93% (68/73)
发表于 2015-4-18 20:56:58 | 显示全部楼层 |阅读模式   安徽省蚌埠市
5精币
   爬行采集QQ的话   是要采集网页所有的链接,然后在正则QQ吗

  我需要采集QQ,



补充内容 (2015-4-18 20:59):
额 刚才没打完。我需要采集QQ,我本来想  采集网页所有存在的链接,然后在正则QQ。但是我发现每个网页的链接匹配正则都是不一样的,我很纳闷  这个怎么实现啊各位前辈??
精易提问.jpg

最佳答案

查看完整内容

采集都很简单的事,枚举链接,访问得到源码,正则匹配,过滤输出

回答提醒:如果本帖被关闭无法回复,您有更好的答案帮助楼主解决,请发表至 源码区 可获得加分喔。
友情提醒:本版被采纳的主题可在 申请荣誉值 页面申请荣誉值,获得 1点 荣誉值,荣誉值可兑换荣誉会员、终身vip用户组。
快捷通道:申请荣誉值
结帖率:90% (18/20)

签到天数: 4 天

发表于 2015-4-18 20:56:59 | 显示全部楼层   江西省赣州市
采集都很简单的事,枚举链接,访问得到源码,正则匹配,过滤输出
回复

使用道具 举报

结帖率:93% (94/101)
发表于 2015-4-18 21:00:02 | 显示全部楼层   四川省成都市
正则表达式是需要文本的    链接只不过是读出网页的文本而已
回复

使用道具 举报

结帖率:93% (68/73)
 楼主| 发表于 2015-4-18 21:06:21 | 显示全部楼层   安徽省蚌埠市
huanglinsd 发表于 2015-4-18 21:00
正则表达式是需要文本的    链接只不过是读出网页的文本而已

嗯,我明白   刚才说简单了。按照我的思路如果要爬行某个站采集QQ的话,首先要把能采集到的链接都采集下来,正则每个链接的源码,实现采集QQ。    但是现在问题来了,每个站的链接匹配规则是不一样的,那我怎么实现爬行采集QQ呢?求赐教
回复

使用道具 举报

结帖率:93% (94/101)
发表于 2015-4-18 21:14:17 | 显示全部楼层   四川省成都市
年轻没有失败 发表于 2015-4-18 21:06
嗯,我明白   刚才说简单了。按照我的思路如果要爬行某个站采集QQ的话,首先要把能采集到的链接都采集下 ...

qq的匹配规则是一样的嘛
回复

使用道具 举报

结帖率:93% (68/73)
 楼主| 发表于 2015-4-18 21:27:27 | 显示全部楼层   安徽省蚌埠市
前辈们,都睡觉了吗{:soso_e127:}
回复

使用道具 举报

结帖率:93% (68/73)
 楼主| 发表于 2015-4-18 21:41:54 | 显示全部楼层   安徽省蚌埠市
顶起,顶起。在线等
回复

使用道具 举报

发表于 2015-4-18 21:42:53 | 显示全部楼层   江苏省常州市
用正则把所有5~10位的数字全部取出来就行了,当然一堆垃圾非QQ数字也会取出来的
回复

使用道具 举报

结帖率:93% (68/73)
 楼主| 发表于 2015-4-18 21:52:37 | 显示全部楼层   安徽省蚌埠市
birdmanxp 发表于 2015-4-18 21:42
用正则把所有5~10位的数字全部取出来就行了,当然一堆垃圾非QQ数字也会取出来的

关键爬行采集,如果直接采集的话那没任何问题。毕竟每个界面的QQ都是有限的,所以需要爬行采集,把输入的网址整个站的所有QQ都取出来。怎么办呢
回复

使用道具 举报

结帖率:93% (68/73)
 楼主| 发表于 2015-4-18 22:23:56 | 显示全部楼层   安徽省蚌埠市
  我相信这个问题一定会解决。只不过是时间的问题,也许一个月以后我不会为此而烦恼。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

关闭

精易论坛 - 有你更精彩上一条 /2 下一条

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报QQ: 793400750,邮箱:wp@125.la
网站简介:精易论坛成立于2009年,是一个程序设计学习交流技术论坛,隶属于揭阳市揭东区精易科技有限公司所有。
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备2025452707号) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表