精易论坛

标题: 【凌哥】代理智能提取V1.2 - 高性能代理管理池 [打印本页]

作者: 凌哥    时间: 2025-8-10 07:37
标题: 【凌哥】代理智能提取V1.2 - 高性能代理管理池
本帖最后由 凌哥 于 2025-8-10 07:47 编辑

基于单线程事件循环的高性能代理管理池

响应速度在微秒级、CPU占用低、内存占用低、自动检测重复数据

提供了超级多的可自定义选项,几乎都有默认值,注释丰富

除了 实现代理验证功能 以及 获取IP威胁情报 以外,没有多余的网络连接


★ 功能范围声明 ★
  ● 本软件为纯代理管理工具,仅提供以下基础功能:
  ● 通过用户自定义URL接口提取代理IP
  ● 通过用户配置的参数验证代理IP的网络连通性(TCP层)
  ● 临时管理代理IP列表

★ 数据安全机制 ★
  ● 所有访问数据(包括URL、响应内容、代理IP)仅保留在内存中
  ● 软件退出后自动清除所有数据,绝不写入硬盘或任何持久化存储

★ 技术独立性 ★
  ● 不依赖任何第三方网络库(如cURL/Requests)
  ● 使用操作系统原生Socket API实现基础通信
  ● 与任何其他软件无二进制依赖关系

★ 安全保护措施 ★
  ● 无法记录用户访问的具体URL(未设计日志功能)
  ● 请求参数仅在内存中临时拼接,响应解析后立即销毁
  ● 参数安全限制:
   1.代理验证的HTTP方法仅允许 "GET"
   2.请求头主动屏蔽"Cookie"、"Authorization"字段
  ● 接入 IPsum 威胁情报源:
   1.自动联网更新,数据每24小时更新
   2.在此列表中的IP地址将被强制屏蔽
   3.情报源来自这些平台提供的高危IP黑名单:
360bigviktor, 360chinad, 360conficker, 360cryptolocker, 360gameover, 360locky, 360necurs, 360suppobox, 360tofsee, 360virut, abuseipdb, alienvault, atmos, badips, bitcoinnodes, blackbook, blocklist, botscout, bruteforceblocker, ciarmy, cobaltstrike, cruzit, cybercrimetracker, dataplane, dshieldip, emergingthreatsbot, emergingthreatscip, emergingthreatsdns, feodotrackerip, gpfcomics, greensnow, ipnoise,kriskinteldns, kriskintelip, malc0de, malwaredomainlistdns, malwaredomains,maxmind, minerchk, myip, openphish, palevotracker, policeman, pony,proxylists, proxyrss, proxyspy, ransomwaretrackerdns, ransomwaretrackerip, ransomwaretrackerurl, riproxies, rutgers, sblam, socksproxy, sslbl, sslproxies, talosintelligence, torproject, trickbot, turris, urlhaus, viriback, vxvault, zeustrackermonitor, zeustrackerurl, etc.
  ● 尽可能避免了用户滥用本软件的情况

★ 使用风险告知 ★
  ● 软件不验证目标网站的合法性
  ● 不检测响应内容安全性
  ● 不提供HTTPS证书校验功能
  ● 用户应使用合法的代理提取API接口,提供API接口的商家应强制用户实名认证

★ 禁止用途清单 ★
  ● 避开或突破计算机信息系统安全保护措施
  ● 获取未授权数据
  ● 发送垃圾/欺诈信息
  ● 侵犯隐私或知识产权

使用本软件即表示您已阅读、理解并同意本免责条款全部内容

回帖下载

L_代理智能提取 子程序文档


销毁



初始化






































































































































参数 类型 可空 默认值 描述
代理预留数量 整数型 可空 0 默认为0=当可用代理为空的时候才去提取代理;大于0则内部会额外多提取一些代理作为备用。该数量包含的代理状态为:等待验证、验证中、验证成功。注意:这个值是最低保证值,实际预留的代理有可能会多一些(取决于你的API每次能提多少代理)。
立即提取代理 逻辑型 可空 默认为假=当首次执行 L_代理智能提取.取代理() 时内部才开始正式提取代理;真= L_代理智能提取.代理提取地址_添加() 后立刻开始提取代理的逻辑;也可以通过 L_代理智能提取.立即提取代理() 来主动触发。
代理轮询模式 逻辑型 可空 默认为假=优先使用最先提取的代理,直到这条代理被删除/拉黑;真=循环使用所有可用代理。
代理验证并行数量 整数型 可空 100 默认为100。注意:本参数不是设置线程数,内部只有1条线程来同时维护大量代理的并行验证功能,占用很低。
代理验证超时时间 整数型 可空 1000*5 单位毫秒
代理验证重试次数 整数型 可空 3 连续N+1次验证失败的代理将被丢弃
代理验证地址 文本型 可空 百度robots.txt 验证代理是否可用的URL
代理验证内容 文本型 可空 Baiduspider 当网页源码中包含指定内容,则代理判定为有效
全局配置_不验证代理 逻辑型 可空 默认为假=代理地址必须为 [IP:端口] 格式,类似这种:127.0.0.1:1234;真=内部将不会对这个地址做有效性验证,直接判定为代理可用
全局配置_强制复用 逻辑型 可空 默认为假;真=重置代理的所有状态;假=不会重置代理。被复用的代理会基于【不验证代理】的设置去重新验证有效性
全局配置_代理时长限制_到期时间 长整数型 可空 0 默认为0=不过期;代理将在过期后自动删除;时间单位:毫秒
全局配置_代理时长限制_立即计时 逻辑型 可空 默认为假=从代理第一次被 L_代理智能提取.取代理() 返回时开始计时; 真=从API提取到代理的时候就马上开始计时
全局配置_代理时长限制_是否复用 逻辑型 可空 默认为假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算到期时间。被复用的代理会基于【不验证代理】的设置去重新验证有效性
全局配置_代理次数限制_阈值 整数型 可空 0 默认为0=不限制使用次数;代理将在使用次数达到阈值后被删除
全局配置_代理次数限制_是否复用 逻辑型 可空 默认为假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算使用次数。被复用的代理会基于【不验证代理】的设置去重新验证有效性
回调_日志 通用型 参考 可空 回调函数接收3个参数:消息ID[整数型 #L代理池消息* ], 消息[文本型 只读参数 禁止修改], 自定义参数[整数型];回调函数由内部线程直接调用,禁止执行长耗时代码,以免卡死整个代理池
日志_自定义参数 整数型 可空 传递给【回调_日志】这个函数的自定义参数

代理提取地址_添加






































































































































参数 类型 可空 默认值 描述
请求方式 文本型 可空 GET 默认为 "GET"
提取地址 文本型 不可空 http:// 或 https:// 开头
提取超时 整数型 可空 3000 单位毫秒,设置访问提取url的超时时间,不能太长以免卡住内部代理验证的流程
请求头 文本型 可空 相当于 http类.SetRequestHeaders()
提交数据 文本型 可空 如果 [代理提取请求方式] 为 "POST" 的话,本参数生效,表示为POST提交的内容
UTF8解码 逻辑型 可空 本参数控制是否将请求提取地址获取的网页源码进行UTF8解码后再读取IP和端口
正则表达式语句 文本型 可空 \d+.\d+.\d+.\d+:\d+ 默认为匹配 [127.0.0.1:1234] 这样的IP
最小提取间隔 整数型 可空 0 默认为0=内部智能判断,单位:毫秒;本参数控制对【提取地址】的访问频率
不验证代理 逻辑型 可空 留空 留空为使用全局配置;默认为假=代理地址必须为 [IP:端口] 格式,类似这种:127.0.0.1:1234;真=内部将不会对这个地址做有效性验证,直接判定为代理可用
强制复用 逻辑型 可空 留空 留空为使用全局配置;真=重置代理的所有状态;假=不会重置代理。被复用的代理会基于【不验证代理】的设置去重新验证有效性
代理时长限制_到期时间 长整数型 可空 留空 留空为使用全局配置;0=不过期;代理将在过期后自动删除;时间单位:毫秒
代理时长限制_立即计时 逻辑型 可空 留空 留空为使用全局配置;默认为假=从代理第一次被 L_代理智能提取.取代理() 返回时开始计时; 真=从API提取到代理的时候就马上开始计时
代理时长限制_是否复用 逻辑型 可空 留空 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算到期时间。被复用的代理会基于【不验证代理】的设置去重新验证有效性
代理次数限制_阈值 整数型 可空 留空 留空为使用全局配置;0=不限制使用次数;代理将在使用次数达到阈值后被删除
代理次数限制_是否复用 逻辑型 可空 留空 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算使用次数。被复用的代理会基于【不验证代理】的设置去重新验证有效性
自定义代理提取回调 通用型 参考 可空 回调函数接收3个整数参数:网页源码指针, 指针长度, 自定义参数;如果提取地址的返回值内容比较特殊,或者是s5代理以及自定义内容,则你可以自己挂接一个回调来处理网页源码,然后自己取出代理地址来调用 L_代理智能提取.添加代理();注意:调用回调的线程就是内部代理提取验证的线程,所以不能堵塞它
回调自定义参数 整数型 可空 传递给【自定义代理提取回调】这个函数的自定义参数

代理提取地址_删除






















参数 类型 可空 默认值 描述
ID 整数型 不可空 添加代理提取地址() 的返回值

代理提取地址_取列表






















参数 类型 可空 默认值 描述
返回列表 L_代理提取地址 参考 可空 数组 返回 L_数据类型_代理提取地址[数组]

代理提取地址_清空



添加代理







































































参数 类型 可空 默认值 描述
代理地址 文本型 不可空 标准IP:端口的格式,或者自定义内容
不验证代理 逻辑型 可空 留空 留空为使用全局配置;默认为假=代理地址必须为 [IP:端口] 格式,类似这种:127.0.0.1:1234;真=内部将不会对这个地址做有效性验证,直接判定为代理可用
强制复用 逻辑型 可空 留空 留空为使用全局配置;真=立刻重置当前代理的所有状态,就像刚添加一样;假=不会重置;如果代理还在可用池里面则不会改变它的顺序。被复用的代理会基于【不验证代理】的设置去重新验证有效性
代理时长限制_到期时间 长整数型 可空 留空 留空为使用全局配置;0=不过期;代理将在过期后自动删除;时间单位:毫秒
代理时长限制_立即计时 逻辑型 可空 留空 留空为使用全局配置;默认为假=从代理第一次被 L_代理智能提取.取代理() 返回时开始计时; 真=从API提取到代理的时候就马上开始计时
代理时长限制_是否复用 逻辑型 可空 留空 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算到期时间。被复用的代理会基于【不验证代理】的设置去重新验证有效性
代理次数限制_阈值 整数型 可空 留空 留空为使用全局配置;0=不限制使用次数;代理将在使用次数达到阈值后被删除
代理次数限制_是否复用 逻辑型 可空 留空 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算使用次数。被复用的代理会基于【不验证代理】的设置去重新验证有效性

拉黑代理





























参数 类型 可空 默认值 描述
代理地址 文本型 不可空 要拉黑的代理地址
拉黑时间 长整数型 可空 -1 默认为-1=永久拉黑, 0=解除黑名单, 大于0=拉黑指定毫秒,到期后恢复可用

取代理





























参数 类型 可空 默认值 描述
返回_代理 文本型 参考 可空 返回变量
超时时间 整数型 可空 -1 单位毫秒;默认为-1=无限等待,0=不等待,大于0则一定时间后没有可用代理就返回

代理设置为失效状态




































参数 类型 可空 默认值 描述
代理地址 文本型 不可空 要设为失效的代理地址
让时间到期 逻辑型 可空 控制使用哪个方式让这条代理失效
让次数到达阈值 逻辑型 可空 控制使用哪个方式让这条代理失效

取统计数据


















































参数 类型 可空 默认值 描述
返回_可用代理数 整数型 参考 可空 能立刻取出使用的代理
返回_等待验证的代理数 整数型 参考 可空 等待验证的代理
返回_验证中代理数 整数型 参考 可空 正在验证的代理
返回_黑名单代理数 整数型 参考 可空 主动标记为黑名单的代理
返回_累计提取代理数 整数型 参考 可空 不包含重复的值

立即提取代理












补充内容 (2025-10-3 01:38):
1.3版本 https://bbs.ijingyi.com/forum.php?mod=viewthread&tid=14865043

补充内容 (2025-11-5 08:18):
1.5版本:https://bbs.ijingyi.com/forum.php?mod=viewthread&tid=14867089
作者: wsldope    时间: 2025-8-10 08:55
谢谢分享
作者: kevmagic    时间: 2025-8-10 09:01
感谢分享
作者: ensurf    时间: 2025-8-10 09:04
学习一下
作者: 玩世不恭KISS    时间: 2025-8-10 09:06
学习一下
作者: 一曲长歌入冬流    时间: 2025-8-10 09:11
学习一下
作者: q1512960733    时间: 2025-8-10 09:28
单线程对于那种url提取超时响应会炸不炸
作者: mlcah    时间: 2025-8-10 09:28
66666666666666
作者: HEZ小白    时间: 2025-8-10 09:29
感谢楼主的分享
作者: zhenshu8888    时间: 2025-8-10 09:34
参考一下,不错不错
作者: 创拓    时间: 2025-8-10 09:37
66666666666666666666666
作者: 创拓    时间: 2025-8-10 09:38
666666666666666666
作者: MISS789    时间: 2025-8-10 09:42
支持支持
作者: 凌哥    时间: 2025-8-10 09:45
q1512960733 发表于 2025-8-10 09:28
单线程对于那种url提取超时响应会炸不炸

不会,都是异步的
作者: q1512960733    时间: 2025-8-10 09:47
(代理验证并行数量),这个改成多线程难度最大,但最有用,碰到代理质量不行,验证会超时,单线程会占用超多时间
作者: 凌哥    时间: 2025-8-10 09:50
q1512960733 发表于 2025-8-10 09:47
(代理验证并行数量),这个改成多线程难度最大,但最有用,碰到代理质量不行,验证会超时,单线程会占用超多时间 ...

我写的不会卡
作者: 1226852858    时间: 2025-8-10 09:50
代理智能提取V1.2 - 高性能代理管理池
作者: wucheng666    时间: 2025-8-10 09:56
感谢大佬分享
作者: 灵海雪缘    时间: 2025-8-10 09:59

作者: q1512960733    时间: 2025-8-10 10:01
凌哥 发表于 2025-8-10 09:45
不会,都是异步的

异步就没问题了,要是纯单线程,一个超时一秒,一次提取100个,验证完最少都得100秒
作者: qq9527    时间: 2025-8-10 10:12
说明:主动通知内部线程可以开始提取代理了
作者: 动鸡不淳    时间: 2025-8-10 10:14
主动通知内部线程可以开始提取代理了
作者: xiaoli1100    时间: 2025-8-10 10:24
大佬,你真牛博一
作者: lhn0925    时间: 2025-8-10 10:35
学习一下
作者: yirennb666    时间: 2025-8-10 10:47
12333333333333333
作者: mooo    时间: 2025-8-10 10:56
谢谢分享
作者: 酒鬼花生    时间: 2025-8-10 11:05

谢谢分享
作者: z5757124    时间: 2025-8-10 11:07
小小心意,意思一下
作者: ling316    时间: 2025-8-10 11:08
RE: 【凌哥】代理智能提取V1.2 - 高性能代理管理池
作者: xiechen888    时间: 2025-8-10 11:12
1111111111111111111111111
作者: 350246356    时间: 2025-8-10 11:24
        YYDS~!冲冲喜
作者: dzscuz    时间: 2025-8-10 11:25
看看,学学,支持楼主
作者: 无精打采    时间: 2025-8-10 11:33
看看                                 
作者: 文西哥    时间: 2025-8-10 11:33
谢谢分享,很有帮助
作者: 青衫衬酸    时间: 2025-8-10 11:41
【凌哥】代理智能提取V1.2
作者: 1184798949    时间: 2025-8-10 11:57
感谢分享
作者: 七散    时间: 2025-8-10 11:58
理解并同意本免责条款全部内容
作者: tengxiang2014    时间: 2025-8-10 12:04
很好,找好久了
作者: yyf4505    时间: 2025-8-10 12:10
666666666666666666
作者: ylva1989    时间: 2025-8-10 12:18
学习~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
作者: 请多指教、    时间: 2025-8-10 12:19
        新技能已get√
作者: PYF1920    时间: 2025-8-10 12:53
666666666666666666666666666666
作者: mood100    时间: 2025-8-10 12:58
感谢分享了收藏
作者: 大呲花哟    时间: 2025-8-10 13:03

作者: Fate    时间: 2025-8-10 13:07
感谢分享
作者: ╭疼惜╮╮    时间: 2025-8-10 13:36
666666
作者: 都由我来赎    时间: 2025-8-10 13:56

感谢分享
作者: 网络注册络员    时间: 2025-8-10 14:24
支持开源
作者: xmcx888    时间: 2025-8-10 14:26
        支持开源~!感谢分享
作者: 七夜a    时间: 2025-8-10 14:33
支持开源~!感谢分享
作者: 鸿运    时间: 2025-8-10 14:48
新技能已get√
作者: nan0818    时间: 2025-8-10 14:55
支持开源~!感谢分享
作者: awuming    时间: 2025-8-10 15:01
【凌哥】代理智能提取V1.2 - 高性能代理管理池
作者: qcby    时间: 2025-8-10 15:10
感谢分享!感谢有你~
作者: 超级小小白    时间: 2025-8-10 15:23
66666666666666666666
作者: YY阿狸    时间: 2025-8-10 16:38

作者: 740949011    时间: 2025-8-10 16:50
0000000000000
作者: a1372704087    时间: 2025-8-10 17:03
        支持开源~!感谢分享
作者: langmeng    时间: 2025-8-10 17:13
代理智能提取V1.2  非常好用
作者: 小伟哥xw    时间: 2025-8-10 17:58
【凌哥】代理智能提取V1.2 - 高性能代理管理池

作者: wmv520    时间: 2025-8-10 18:56
        支持开源~!感谢分享
作者: 虚vs伪    时间: 2025-8-10 20:10
感谢分享!  
作者: 酷易自绘    时间: 2025-8-10 20:47
RE: 【凌哥】代理智能提取V1.2 - 高性能代理管理池 [修改]
作者: zongheng    时间: 2025-8-10 21:00
感谢分享
作者: 小白阿    时间: 2025-8-10 21:47
感谢分享,前来学习
作者: 时光说你忘了    时间: 2025-8-10 21:54

感谢分享!感谢有你~
作者: gjhlmy    时间: 2025-8-10 22:01
666666666666666666666666
作者: myter02    时间: 2025-8-10 22:18
代理智能提取V1.2 - 高性能代理管理池
作者: xSerendipity    时间: 2025-8-10 22:22
感谢分享
作者: asasqwwq    时间: 2025-8-11 00:09
555555555555
作者: bbb620    时间: 2025-8-11 02:47
代理智能提取V1.2 - 高性能代理管理池 [修改]
作者: 第二人生    时间: 2025-8-11 03:37
使用本软件即表示您已阅读、理解并同意本免责条款全部内容
作者: zxc286    时间: 2025-8-11 04:40
666666666{:3_41:}
作者: 乌鸦作飞机    时间: 2025-8-11 04:48
66666666666666666
作者: xh1020    时间: 2025-8-11 05:58
66666666666666666
作者: ck66    时间: 2025-8-11 08:41
支持开源~!感谢分享
作者: 菜鸟也想飞    时间: 2025-8-11 08:59
让 江小白 来看看帖子里藏了啥好东西~~~
作者: BlueBoy    时间: 2025-8-11 10:03
#在这里快速回复#        支持开源~!感谢分享
作者: 咸鱼666    时间: 2025-8-11 10:06
   支持开源~!感谢分享
作者: by百伯    时间: 2025-8-11 10:21

作者: a1221331441    时间: 2025-8-11 12:48
看看厉害不~~~~~~~~~~~~~~~~~~~
作者: wzb0510    时间: 2025-8-11 14:06
1111111111111111
作者: guigong    时间: 2025-8-11 15:01
1111111111111111111111111111111111111
作者: youxigw    时间: 2025-8-11 16:41
看看厉害不~~~~~~~~
作者: 鱼雨遇玉羽    时间: 2025-8-11 17:25
看一下能不能用
作者: yujin123    时间: 2025-8-11 18:52

看看厉害不~~~~~~~~
作者: dongwang22    时间: 2025-8-11 20:05
不知道是什么东西,但感觉很厉害
作者: aixiao13    时间: 2025-8-11 21:56
666666666666666666666666
作者: saosao    时间: 2025-8-11 22:37
感谢分享
作者: 3304846256    时间: 2025-8-11 23:03
已阅读、理解并同意本免责条款全部内容
作者: lytsz    时间: 2025-8-11 23:10
看看隐藏
作者: yl6666    时间: 2025-8-12 00:20
L_L_L_L_L_L_L_L_
作者: lijintai110    时间: 2025-8-12 01:08
看看隐藏看看隐藏
作者: lrmsdyjd    时间: 2025-8-12 03:06
24564135123123456132123123
作者: year1970    时间: 2025-8-12 08:25
感谢分享
作者: woshifengb    时间: 2025-8-12 13:53
所有方法均设计为允许多线程随意调用
作者: lengxiansheng    时间: 2025-8-12 14:28
11111111111111111
作者: syc123java    时间: 2025-8-12 14:29
11111111111111111
作者: ssxpvicp    时间: 2025-8-12 14:49
11111111111111
作者: 凉辰01    时间: 2025-8-12 15:03
凌哥】代理智能提取V1.2 - 高性能代理管理池 [修改]




欢迎光临 精易论坛 (https://bbs.ijingyi.com/) Powered by Discuz! X3.4