| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 代理预留数量 | 整数型 | 可空 | 0 | 默认为0=当可用代理为空的时候才去提取代理;大于0则内部会额外多提取一些代理作为备用。该数量包含的代理状态为:等待验证、验证中、验证成功。注意:这个值是最低保证值,实际预留的代理有可能会多一些(取决于你的API每次能提多少代理)。 |
| 立即提取代理 | 逻辑型 | 可空 | 假 | 默认为假=当首次执行 L_代理智能提取.取代理() 时内部才开始正式提取代理;真= L_代理智能提取.代理提取地址_添加() 后立刻开始提取代理的逻辑;也可以通过 L_代理智能提取.立即提取代理() 来主动触发。 |
| 代理轮询模式 | 逻辑型 | 可空 | 假 | 默认为假=优先使用最先提取的代理,直到这条代理被删除/拉黑;真=循环使用所有可用代理。 |
| 代理验证并行数量 | 整数型 | 可空 | 100 | 默认为100。注意:本参数不是设置线程数,内部只有1条线程来同时维护大量代理的并行验证功能,占用很低。 |
| 代理验证超时时间 | 整数型 | 可空 | 1000*5 | 单位毫秒 |
| 代理验证重试次数 | 整数型 | 可空 | 3 | 连续N+1次验证失败的代理将被丢弃 |
| 代理验证地址 | 文本型 | 可空 | 百度robots.txt | 验证代理是否可用的URL |
| 代理验证内容 | 文本型 | 可空 | Baiduspider | 当网页源码中包含指定内容,则代理判定为有效 |
| 全局配置_不验证代理 | 逻辑型 | 可空 | 假 | 默认为假=代理地址必须为 [IP:端口] 格式,类似这种:127.0.0.1:1234;真=内部将不会对这个地址做有效性验证,直接判定为代理可用 |
| 全局配置_强制复用 | 逻辑型 | 可空 | 假 | 默认为假;真=重置代理的所有状态;假=不会重置代理。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 全局配置_代理时长限制_到期时间 | 长整数型 | 可空 | 0 | 默认为0=不过期;代理将在过期后自动删除;时间单位:毫秒 |
| 全局配置_代理时长限制_立即计时 | 逻辑型 | 可空 | 假 | 默认为假=从代理第一次被 L_代理智能提取.取代理() 返回时开始计时; 真=从API提取到代理的时候就马上开始计时 |
| 全局配置_代理时长限制_是否复用 | 逻辑型 | 可空 | 假 | 默认为假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算到期时间。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 全局配置_代理次数限制_阈值 | 整数型 | 可空 | 0 | 默认为0=不限制使用次数;代理将在使用次数达到阈值后被删除 |
| 全局配置_代理次数限制_是否复用 | 逻辑型 | 可空 | 假 | 默认为假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算使用次数。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 回调_日志 | 通用型 | 参考 可空 | 无 | 回调函数接收3个参数:消息ID[整数型 #L代理池消息* ], 消息[文本型 只读参数 禁止修改], 自定义参数[整数型];回调函数由内部线程直接调用,禁止执行长耗时代码,以免卡死整个代理池 |
| 日志_自定义参数 | 整数型 | 可空 | 无 | 传递给【回调_日志】这个函数的自定义参数 |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 请求方式 | 文本型 | 可空 | GET | 默认为 "GET" |
| 提取地址 | 文本型 | 不可空 | 无 | http:// 或 https:// 开头 |
| 提取超时 | 整数型 | 可空 | 3000 | 单位毫秒,设置访问提取url的超时时间,不能太长以免卡住内部代理验证的流程 |
| 请求头 | 文本型 | 可空 | 空 | 相当于 http类.SetRequestHeaders() |
| 提交数据 | 文本型 | 可空 | 空 | 如果 [代理提取请求方式] 为 "POST" 的话,本参数生效,表示为POST提交的内容 |
| UTF8解码 | 逻辑型 | 可空 | 假 | 本参数控制是否将请求提取地址获取的网页源码进行UTF8解码后再读取IP和端口 |
| 正则表达式语句 | 文本型 | 可空 | \d+.\d+.\d+.\d+:\d+ | 默认为匹配 [127.0.0.1:1234] 这样的IP |
| 最小提取间隔 | 整数型 | 可空 | 0 | 默认为0=内部智能判断,单位:毫秒;本参数控制对【提取地址】的访问频率 |
| 不验证代理 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;默认为假=代理地址必须为 [IP:端口] 格式,类似这种:127.0.0.1:1234;真=内部将不会对这个地址做有效性验证,直接判定为代理可用 |
| 强制复用 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;真=重置代理的所有状态;假=不会重置代理。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 代理时长限制_到期时间 | 长整数型 | 可空 | 留空 | 留空为使用全局配置;0=不过期;代理将在过期后自动删除;时间单位:毫秒 |
| 代理时长限制_立即计时 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;默认为假=从代理第一次被 L_代理智能提取.取代理() 返回时开始计时; 真=从API提取到代理的时候就马上开始计时 |
| 代理时长限制_是否复用 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算到期时间。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 代理次数限制_阈值 | 整数型 | 可空 | 留空 | 留空为使用全局配置;0=不限制使用次数;代理将在使用次数达到阈值后被删除 |
| 代理次数限制_是否复用 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算使用次数。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 自定义代理提取回调 | 通用型 | 参考 可空 | 无 | 回调函数接收3个整数参数:网页源码指针, 指针长度, 自定义参数;如果提取地址的返回值内容比较特殊,或者是s5代理以及自定义内容,则你可以自己挂接一个回调来处理网页源码,然后自己取出代理地址来调用 L_代理智能提取.添加代理();注意:调用回调的线程就是内部代理提取验证的线程,所以不能堵塞它 |
| 回调自定义参数 | 整数型 | 可空 | 无 | 传递给【自定义代理提取回调】这个函数的自定义参数 |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| ID | 整数型 | 不可空 | 无 | 添加代理提取地址() 的返回值 |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 返回列表 | L_代理提取地址 | 参考 可空 数组 | 无 | 返回 L_数据类型_代理提取地址[数组] |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 代理地址 | 文本型 | 不可空 | 无 | 标准IP:端口的格式,或者自定义内容 |
| 不验证代理 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;默认为假=代理地址必须为 [IP:端口] 格式,类似这种:127.0.0.1:1234;真=内部将不会对这个地址做有效性验证,直接判定为代理可用 |
| 强制复用 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;真=立刻重置当前代理的所有状态,就像刚添加一样;假=不会重置;如果代理还在可用池里面则不会改变它的顺序。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 代理时长限制_到期时间 | 长整数型 | 可空 | 留空 | 留空为使用全局配置;0=不过期;代理将在过期后自动删除;时间单位:毫秒 |
| 代理时长限制_立即计时 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;默认为假=从代理第一次被 L_代理智能提取.取代理() 返回时开始计时; 真=从API提取到代理的时候就马上开始计时 |
| 代理时长限制_是否复用 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算到期时间。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 代理次数限制_阈值 | 整数型 | 可空 | 留空 | 留空为使用全局配置;0=不限制使用次数;代理将在使用次数达到阈值后被删除 |
| 代理次数限制_是否复用 | 逻辑型 | 可空 | 留空 | 留空为使用全局配置;假=代理到期后不再允许被使用; 真=如果又从 [代理提取地址] 提取到或主动调用 L_代理智能提取.添加代理() 的话就重新计算使用次数。被复用的代理会基于【不验证代理】的设置去重新验证有效性 |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 代理地址 | 文本型 | 不可空 | 无 | 要拉黑的代理地址 |
| 拉黑时间 | 长整数型 | 可空 | -1 | 默认为-1=永久拉黑, 0=解除黑名单, 大于0=拉黑指定毫秒,到期后恢复可用 |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 返回_代理 | 文本型 | 参考 可空 | 无 | 返回变量 |
| 超时时间 | 整数型 | 可空 | -1 | 单位毫秒;默认为-1=无限等待,0=不等待,大于0则一定时间后没有可用代理就返回 |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 代理地址 | 文本型 | 不可空 | 无 | 要设为失效的代理地址 |
| 让时间到期 | 逻辑型 | 可空 | 无 | 控制使用哪个方式让这条代理失效 |
| 让次数到达阈值 | 逻辑型 | 可空 | 无 | 控制使用哪个方式让这条代理失效 |
| 参数 | 类型 | 可空 | 默认值 | 描述 |
|---|---|---|---|---|
| 返回_可用代理数 | 整数型 | 参考 可空 | 无 | 能立刻取出使用的代理 |
| 返回_等待验证的代理数 | 整数型 | 参考 可空 | 无 | 等待验证的代理 |
| 返回_验证中代理数 | 整数型 | 参考 可空 | 无 | 正在验证的代理 |
| 返回_黑名单代理数 | 整数型 | 参考 可空 | 无 | 主动标记为黑名单的代理 |
| 返回_累计提取代理数 | 整数型 | 参考 可空 | 无 | 不包含重复的值 |
q1512960733 发表于 2025-8-10 09:28
单线程对于那种url提取超时响应会炸不炸
q1512960733 发表于 2025-8-10 09:47
(代理验证并行数量),这个改成多线程难度最大,但最有用,碰到代理质量不行,验证会超时,单线程会占用超多时间 ...



凌哥 发表于 2025-8-10 09:45
不会,都是异步的




感谢分享










| 欢迎光临 精易论坛 (https://bbs.ijingyi.com/) | Powered by Discuz! X3.4 |