[AI]贝贝爱偷懒代理智能提取模块，高仿鱼刺爱偷懒代理提取

韦贝贝

起因是鱼刺的哪个模块老在那边空获取代理，代理被压入了也没开启验证，但是可用代理始终是0，导致代理白白的浪费几千，无奈之下让AI完全参考鱼刺爱偷懒的模块写了一个

全程靠 AI 搭框架写的，前后调了 5-6 次就跑通了，后续又针对性修复了几轮边界问题和性能问题，现在多线程压测稳定

一、模块核心功能
这是一个完整的代理提取 + 验证 + 池化管理模块，常用功能都覆盖了：

• 支持最多 5 组代理提取地址，自动轮询提取
• 支持「分隔符分割」和「正则匹配」两种解析方式，内置 IP: 端口格式合法性校验
• 内置多线程验证池，可自定义验证地址、响应特征串、超时时间、失败重试次数
• 代理生命值机制：单条代理可配置复用次数，用完自动从池中移除
• 代理最长存活时间（MaxAge）：到期自动清理过期代理
• 两种获取模式：
  
  • 普通模式：自动扣减生命值，用完自动删除
  • Ex 自取出模式：代理从池中完全移出，自行判断有效性后手动归还
    
• 支持自定义去重回调，可自行实现全局去重逻辑
• 代理池低于阈值自动触发补充，提取最小间隔可配置，避免请求过快
  

二、开发 & 踩坑历程
全程 AI 辅助开发，踩的坑都是易语言多线程经典问题，这里也列出来给大家避坑：

• 初稿成型：从 0 到 1 搭完整个模块框架，包括提取线程、验证线程、代理池管理、临界区保护，前后调试了 5-6 次就跑通了主流程，提取→验证→入池→获取全链路正常。
• 修复 CPU 100% 问题：初期空转时 CPU 直接拉满，排查发现易语言自带的 延迟() 是忙等待实现，把所有线程内的等待全部替换成基于内核定时器的 程序_延时()，空闲 CPU 直接降到几乎为 0。
• 修复数组越界崩溃：高并发下偶现下标越界，根源是「正向遍历数组 + 循环内删除成员」的写法有先天缺陷，把所有遍历删除的逻辑全部改成倒序变量循环，从根源上杜绝越界问题。
• 修复生命值逻辑：理顺 获取代理Ex 的生命值机制，取出时自动扣减 1 点生命值，归还时自动过滤生命值≤0 的代理，和普通获取模式的逻辑对齐，避免代理无限复用。
• 优化事件惊群：调整事件通知逻辑，只有代理池从空变非空时才触发事件，避免大量等待线程同时唤醒抢锁，减少无意义的 CPU 消耗。
• 多线程压测验证：开满验证线程 + 多线程并发获取代理，连续跑数小时无崩溃、无内存泄漏、计数正常，确认稳定可用。
  

  

子程序名	返回值类型	公开	备 注
多线程使用示例

变量名	类 型	静态	数组	备 注
i	整数型

' 第一步：在主线程配置和创建
代理智能提取_置代理提取参数 (1, “https://www.hibbba.com/”, #换行符, 假, 真, 假, , 1000, , , , )
' 代理智能提取_置代理提取参数 (1, “https://www.hibbba.com/”, “(\d+.\d+.\d+.\d+):(\d+)”, 真, 真, 假, , 1000, , , , )
' 代理智能提取_置代理验证参数 (“https://www.baidu.com/”, “html”, 真, 假, , “GET”, 100, 10, 1)
代理智能提取_置代理验证参数 (“https://www.baidu.com/”, “html”, 真, 假, , “GET”, 100, 10, 1)  ' URL填写 不验证 不进行验证直接使用
代理智能提取_置代理生命值 (5)  ' 每条代理会被获取1次
代理智能提取_置代理最长存活时间 (-1)  ' 不启用
' 如果需要 开启过滤重复回调 请再 代理智能提取_置代理验证参数 设置URL验证 取子程序地址 (回调子程序地址)
代理智能提取_置代理过滤重复回调 (到整数 (&过滤重复代理回调), 假)
代理智能提取_创建 (假)
程序_延时 (2000)
' 第二步：启动10个工作线程
计次循环首 (1, i)
启动线程 (&自动_工作线程, i, )
' 启动线程 (&手动归还_工作线程, i, )
计次循环尾 ()
' 等待所有工作完成
程序_延时 (60000)
' 第三步：在主线程销毁
代理智能提取_销毁 ()

子程序名	返回值类型	公开	备 注
自动_工作线程
参数名	类 型	参考	可空	数组	备 注
线程ID	整数型

变量名	类 型	静态	数组	备 注
代理信息	文本型
bool	逻辑型

计次循环首 (100, )
' 代理智能提取创建完毕后 就可以愉快的调用`获取代理()`了
' 只要有需要 就可以随便调用
' 支持多线程并发调用获取
循环判断首 ()
bool ＝ 代理智能提取_获取代理 (代理信息, 1000 × 10)
如果真 (bool ＝ 假)
到循环尾 ()
输出调试文本 (“获取到代理: ” ＋ 代理信息)
bool ＝ 调用_干活 (代理信息)
循环判断尾 (bool ＝ 假)
调试输出 (“代理智能提取_取已提取数 ()”, 代理智能提取_取已提取数 ())
调试输出 (“代理智能提取_取本次提取数 ()”, 代理智能提取_取本次提取数 ())
调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())
调试输出 (“代理智能提取_取验证成功数 ()”, 代理智能提取_取验证成功数 ())
调试输出 (“代理智能提取_取正在验证数 ()”, 代理智能提取_取正在验证数 ())
' 输出调试文本 (“干活成功! 代理:” ＋ 代理信息)
程序_延时 (1000)
计次循环尾 ()

子程序名	返回值类型	公开	备 注
过滤重复代理回调	逻辑型		注意：返回假=通过，返回真=重复丢弃
参数名	类 型	参考	可空	数组	备 注
IP地址	文本型
端口	文本型

' ' 进入临界区，保证多线程下数组操作安全
' _临界进入 (去重临界区)
' ' 判断IP是否已经存在
' 如果真 (查找成员 (已加入IP数组, IP地址, , 假) ≠ -1)如果真 ()
' _临界退出 (去重临界区)
' 返回 (真)  ' 重复，丢弃
' ' 不重复，加入数组，放行
' 加入成员 (已加入IP数组, IP地址)
' _临界退出 (去重临界区)
' 返回 (假)  ' 通过，允许入池
调试输出 (IP地址, 端口)
置随机数种子 ()
如果真 (取随机数 (1, 10) ＜ 5)
返回 (假)  ' 通过，允许入池
返回 (真)  ' 重复，丢弃

子程序名	返回值类型	公开	备 注
手动归还_工作线程
参数名	类 型	参考	可空	数组	备 注
线程ID	整数型

变量名	类 型	静态	数组	备 注
代理信息	文本型			123.123.123.123:8888
代理相关信息	代理智能提取信息
bool	逻辑型

计次循环首 (100, )
' 有的时候 我们希望一条代理可以被使用多次
' 本模块提供了`代理生命值`配置项 可以配置提取到的代理每条能被获取多少次
' 比如:设置`代理生命值=100` 提取到的代理每一条都能被`代理智能提取_获取代理()`获取100次
' (但是) 那么问题来了 如果这条代理中途失效/超时了怎么办? 答案是尴尬的 依然还会被获取到 直到100次上线 内部代理池才会释放掉这条代理
' (不过呢) 接下来我们就可以解决这个问题
' 首先使用 `代理智能提取_获取代理Ex()` 来获取代理并接收代理相关信息
' 然后使这条代理去连接/访问/干活  自行判断这条代理是否已经失效
' [如果这条代理依然有效] 那就调用`代理智能提取_自压入代理Ex()`把这条代理归还给内部代理池
' [如果发现这条代理已失效/超时] 那就不用归还了 该干活干活 该获取新代理获取新代理继续干活
' //演示
调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())
bool ＝ 代理智能提取_获取代理Ex (代理信息, 代理相关信息, 1000 × 10)
调试输出 (bool)
如果真 (bool ＝ 真)
输出调试文本 (“获取到代理: ” ＋ 代理信息)
bool ＝ 调用_干活 (代理信息)
' 返回真 说明代理还能用 还没失效
' 返回假 说明代理失效或超时
如果真 (bool ＝ 真)
' 判断返回真 这条代理依然有效
' 归还此条代理到内部代理池中
' 这条代理只要生命值不被耗尽 依然还会提取到它
代理智能提取_自压入代理Ex (代理相关信息)

调试输出 (bool)
调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())
调试输出 (bool)
调试输出 (“代理智能提取_取已提取数 ()”, 代理智能提取_取已提取数 ())
调试输出 (“代理智能提取_取本次提取数 ()”, 代理智能提取_取本次提取数 ())
调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())
调试输出 (“代理智能提取_取验证成功数 ()”, 代理智能提取_取验证成功数 ())
调试输出 (“代理智能提取_取正在验证数 ()”, 代理智能提取_取正在验证数 ())
' 暂停 ()
程序_延时 (1000)
计次循环尾 ()

子程序名	返回值类型	公开	备 注
调用_干活	逻辑型		使用代理并判断这条代理是否失效
参数名	类 型	参考	可空	数组	备 注
代理信息	文本型

置随机数种子 ()
如果真 (取随机数 (1, 10) ＜ 5)
返回 (假)  ' 这条代理失效了 超时了 爆炸了
返回 (真)  ' 还不错哦 这条代理依然还能用

i支持库列表	支持库注释
EThread	多线程支持库
spec	特殊功能支持库

.版本 2<br /> .支持库 EThread<br /> .支持库 spec<br /> <br /> .子程序 多线程使用示例<br /> .局部变量 i, 整数型<br /> <br /> ' 第一步：在主线程配置和创建<br /> 代理智能提取_置代理提取参数 (1, “<a href="https://www.hibbba.com/" rel="nofollow" rel="nofollow" rel="nofollow" rel="nofollow" target="_blank">https://www.hibbba.com/</a>”, #换行符, 假, 真, 假, , 1000, , , , )<br /> ' 代理智能提取_置代理提取参数 (1, “<a href="https://www.hibbba.com/" rel="nofollow" rel="nofollow" rel="nofollow" rel="nofollow" target="_blank">https://www.hibbba.com/</a>”, “(\d+.\d+.\d+.\d+):(\d+)”, 真, 真, 假, , 1000, , , , )<br /> <br /> ' 代理智能提取_置代理验证参数 (“<a href="https://www.baidu.com/" rel="nofollow" rel="nofollow" rel="nofollow" rel="nofollow" target="_blank">https://www.baidu.com/</a>”, “html”, 真, 假, , “GET”, 100, 10, 1)<br /> 代理智能提取_置代理验证参数 (“<a href="https://www.baidu.com/" rel="nofollow" rel="nofollow" rel="nofollow" rel="nofollow" target="_blank">https://www.baidu.com/</a>”, “html”, 真, 假, , “GET”, 100, 10, 1)  ' URL填写 不验证 不进行验证直接使用<br /> 代理智能提取_置代理生命值 (5)  ' 每条代理会被获取1次<br /> 代理智能提取_置代理最长存活时间 (-1)  ' 不启用<br /> <br /> ' 如果需要 开启过滤重复回调 请再 代理智能提取_置代理验证参数 设置URL验证 取子程序地址 (回调子程序地址)<br /> 代理智能提取_置代理过滤重复回调 (到整数 (&过滤重复代理回调), 假)<br /> <br /> <br /> 代理智能提取_创建 (假)<br /> 程序_延时 (2000)<br /> ' 第二步：启动10个工作线程<br /> .计次循环首 (1, i)<br />     启动线程 (&自动_工作线程, i, )<br /> <br />     ' 启动线程 (&手动归还_工作线程, i, )<br /> <br /> .计次循环尾 ()<br /> <br /> ' 等待所有工作完成<br /> 程序_延时 (60000)<br /> ' 第三步：在主线程销毁<br /> 代理智能提取_销毁 ()<br /> <br /> .子程序 自动_工作线程<br /> .参数 线程ID, 整数型<br /> .局部变量 代理信息, 文本型<br /> .局部变量 bool, 逻辑型<br /> <br /> .计次循环首 (100, )<br />     ' 代理智能提取创建完毕后 就可以愉快的调用`获取代理()`了<br />     ' 只要有需要 就可以随便调用<br />     ' 支持多线程并发调用获取<br />     .循环判断首 ()<br />         bool ＝ 代理智能提取_获取代理 (代理信息, 1000 × 10)<br />         .如果真 (bool ＝ 假)<br />             到循环尾 ()<br />         .如果真结束<br />         输出调试文本 (“获取到代理: ” ＋ 代理信息)<br />         bool ＝ 调用_干活 (代理信息)<br />     .循环判断尾 (bool ＝ 假)<br /> <br /> <br />     调试输出 (“代理智能提取_取已提取数 ()”, 代理智能提取_取已提取数 ())<br />     调试输出 (“代理智能提取_取本次提取数 ()”, 代理智能提取_取本次提取数 ())<br />     调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())<br />     调试输出 (“代理智能提取_取验证成功数 ()”, 代理智能提取_取验证成功数 ())<br />     调试输出 (“代理智能提取_取正在验证数 ()”, 代理智能提取_取正在验证数 ())<br /> <br />     ' 输出调试文本 (“干活成功! 代理:” ＋ 代理信息)<br />     程序_延时 (1000)<br /> .计次循环尾 ()<br /> <br /> <br /> <br /> <br /> .子程序 过滤重复代理回调, 逻辑型, , 注意：返回假=通过，返回真=重复丢弃<br /> .参数 IP地址, 文本型<br /> .参数 端口, 文本型<br /> <br /> ' ' 进入临界区，保证多线程下数组操作安全<br /> ' _临界进入 (去重临界区)<br /> ' ' 判断IP是否已经存在<br /> ' 如果真 (查找成员 (已加入IP数组, IP地址, , 假) ≠ -1)如果真 ()<br /> ' _临界退出 (去重临界区)<br /> ' 返回 (真)  ' 重复，丢弃<br /> ' ' 不重复，加入数组，放行<br /> ' 加入成员 (已加入IP数组, IP地址)<br /> ' _临界退出 (去重临界区)<br /> ' 返回 (假)  ' 通过，允许入池<br /> 调试输出 (IP地址, 端口)<br /> 置随机数种子 ()<br /> .如果真 (取随机数 (1, 10) ＜ 5)<br />     返回 (假)  ' 通过，允许入池<br /> .如果真结束<br /> 返回 (真)  ' 重复，丢弃<br /> <br /> .子程序 手动归还_工作线程<br /> .参数 线程ID, 整数型<br /> .局部变量 代理信息, 文本型, , , 123.123.123.123:8888<br /> .局部变量 代理相关信息, 代理智能提取信息<br /> .局部变量 bool, 逻辑型<br /> <br /> .计次循环首 (100, )<br />     ' 有的时候 我们希望一条代理可以被使用多次<br />     ' 本模块提供了`代理生命值`配置项 可以配置提取到的代理每条能被获取多少次<br /> <br />     ' 比如:设置`代理生命值=100` 提取到的代理每一条都能被`代理智能提取_获取代理()`获取100次<br />     ' (但是) 那么问题来了 如果这条代理中途失效/超时了怎么办? 答案是尴尬的 依然还会被获取到 直到100次上线 内部代理池才会释放掉这条代理<br /> <br />     ' (不过呢) 接下来我们就可以解决这个问题<br />     ' 首先使用 `代理智能提取_获取代理Ex()` 来获取代理并接收代理相关信息<br />     ' 然后使这条代理去连接/访问/干活  自行判断这条代理是否已经失效<br />     ' [如果这条代理依然有效] 那就调用`代理智能提取_自压入代理Ex()`把这条代理归还给内部代理池<br />     ' [如果发现这条代理已失效/超时] 那就不用归还了 该干活干活 该获取新代理获取新代理继续干活<br /> <br />     ' //演示<br />     调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())<br />     bool ＝ 代理智能提取_获取代理Ex (代理信息, 代理相关信息, 1000 × 10)<br /> <br />     调试输出 (bool)<br />     .如果真 (bool ＝ 真)<br />         输出调试文本 (“获取到代理: ” ＋ 代理信息)<br />         bool ＝ 调用_干活 (代理信息)<br />         ' 返回真 说明代理还能用 还没失效<br />         ' 返回假 说明代理失效或超时<br />         .如果真 (bool ＝ 真)<br />             ' 判断返回真 这条代理依然有效<br />             ' 归还此条代理到内部代理池中<br />             ' 这条代理只要生命值不被耗尽 依然还会提取到它<br />             代理智能提取_自压入代理Ex (代理相关信息)<br />         .如果真结束<br /> <br /> <br />     .如果真结束<br />     调试输出 (bool)<br />     调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())<br /> <br />     调试输出 (bool)<br />     调试输出 (“代理智能提取_取已提取数 ()”, 代理智能提取_取已提取数 ())<br />     调试输出 (“代理智能提取_取本次提取数 ()”, 代理智能提取_取本次提取数 ())<br />     调试输出 (“代理智能提取_取当前剩余数 ()”, 代理智能提取_取当前剩余数 ())<br />     调试输出 (“代理智能提取_取验证成功数 ()”, 代理智能提取_取验证成功数 ())<br />     调试输出 (“代理智能提取_取正在验证数 ()”, 代理智能提取_取正在验证数 ())<br /> <br />     ' 暂停 ()<br />     程序_延时 (1000)<br /> .计次循环尾 ()<br /> <br /> <br /> .子程序 调用_干活, 逻辑型, , 使用代理并判断这条代理是否失效<br /> .参数 代理信息, 文本型<br /> <br /> 置随机数种子 ()<br /> .如果真 (取随机数 (1, 10) ＜ 5)<br />     返回 (假)  ' 这条代理失效了 超时了 爆炸了<br /> .如果真结束<br /> 返回 (真)  ' 还不错哦 这条代理依然还能用

游客，如果您要查看本帖隐藏内容请回复

lrmsdyjd

46645656565154665654

sunfly

学习一下                 

static007

亿万

感谢分享

易1994

大哥厉害

1184798949

感谢分享

hhhql

感谢分享

清风徐来2

感谢分享

卡卡1111

感谢分享