多线程取数据库数据问题

烟灭

多线程取数据库数据，每次取一条数据，线程大的话数据库会卡，求大神解答？

ekO

1:优化数据库的索引
2:适当的缓存,压力不要全部用数据库来抗,它的极限很容达到,特别是一些聚合方法
3:合理的设计

ekO

1:优化数据库索引
2:适当的缓存,不要拿数据库能力来抗并发,数据库的极限很容易瓶颈,特别是一些聚合方法
3:合理的设计

xujian5305456

  

窗口程序集名	保 留	保 留	备 注
主窗口
变量名	类 型	数组	备 注
连接池	整数型	10"  ' 固定10个
临界	整数型
任务队列	文本型	0"  ' 存储�

子程序名	返回值类型	公开	备 注
__启动窗口_创建完毕

临界 = 创建进入许可证 ()
初始化连接池 ()  ' 创建10个持久连接
启动线程 (&任务分配器, , )  ' 启动任务分配线程

子程序名	返回值类型	公开	备 注
初始化连接池

变量名	类 型	静态	数组	备 注
i	整数型

计次循环首 (10, i)
连接池 [i] = 连接MySql (“localhost”, “root”, “123456”, “testdb”, 3306)
计次循环尾 ()

子程序名	返回值类型	公开	备 注
任务分配器

变量名	类 型	静态	数组	备 注
总记录数	整数型
每批数量	整数型
起始位置	整数型
SQL	文本型

总记录数 = 取记录数 (“SELECT COUNT(*) FROM data_table”)
每批数量 = 100  ' 每批取100条
起始位置 = 0
循环判断首 ()
SQL = “SELECT id,field1,field2 FROM data_table LIMIT ” + 到文本 (起始位置) + “,” + 到文本 (每批数量)
进入许可区 (临界)
加入成员 (任务队列, SQL)  ' 将批量SQL加入队列
退出许可区 (临界)
起始位置 = 起始位置 + 每批数量
循环判断尾 (起始位置 < 总记录数)
' 启动工作线程(根据CPU核心数合理控制)
计次循环首 (取CPU核心数 () × 2, )  ' 推荐线程数=CPU核心数×2
启动线程 (&工作线程, , )
计次循环尾 ()

子程序名	返回值类型	公开	备 注
工作线程

变量名	类 型	静态	数组	备 注
SQL	文本型
连接句柄	整数型
记录集	整数型

循环判断首 ()
' 从队列取任务
进入许可区 (临界)
如果真 (取数组成员数 (任务队列) > 0)
SQL = 任务队列 [1]
删除成员 (任务队列, 1, 1)
退出许可区 (临界)
如果真 (SQL = “”)
程序_延时 (100)  ' 队列空时暂停
到循环尾 ()

' 从连接池获取连接
连接句柄 = 取空闲连接 ()
记录集 = 执行SQL语句 (连接句柄, SQL)
' 处理批量数据
判断循环首 (读记录集 (记录集))
字段1 = 读字段文本值 (记录集, “field1”)
字段2 = 读字段文本值 (记录集, “field2”)
' 在此处理单条数据...
判断循环尾 ()
释放记录集 (记录集)
释放连接 (连接句柄)  ' 归还连接池
SQL = “”  ' 重置SQL
循环判断尾 (真)

子程序名	返回值类型	公开	备 注
取空闲连接	整数型

变量名	类 型	静态	数组	备 注
i	整数型

循环判断首 ()
进入许可区 (临界)
计次循环首 (10, i)
如果真 (连接池 [i] ≠ 0)
返回 (连接池 [i])
连接池 [i] = 0  ' 标记为已占用

计次循环尾 ()
退出许可区 (临界)
程序_延时 (50)  ' 无可用连接时等待
循环判断尾 (真)

子程序名	返回值类型	公开	备 注
释放连接
参数名	类 型	参考	可空	数组	备 注
句柄	整数型

进入许可区 (临界)
计次循环首 (10, i)
如果真 (连接池 [i] == 0)
连接池 [i] = 句柄  ' 归还连接
返回 ()

计次循环尾 ()
退出许可区 (临界)

i支持库列表	支持库注释
EThread	多线程支持库
mysql	MySql支持库

.版本 2<br /> .支持库 EThread<br /> .支持库 mysql<br /> <br /> .程序集 主窗口<br /> .程序集变量 连接池, 整数型, , "10"  ' 固定10个连接<br /> .程序集变量 临界, 整数型<br /> .程序集变量 任务队列, 文本型, , "0"  ' 存储批量ID<br /> <br /> .子程序 __启动窗口_创建完毕<br /> 临界 = 创建进入许可证 ()<br /> 初始化连接池 ()  ' 创建10个持久连接<br /> 启动线程 (&任务分配器, , )  ' 启动任务分配线程<br /> <br /> .子程序 初始化连接池<br /> .局部变量 i, 整数型<br /> .计次循环首 (10, i)<br />     连接池 <i> = 连接MySql (“localhost”, “root”, “123456”, “testdb”, 3306)<br /> .计次循环尾 ()<br /> <br /> .子程序 任务分配器<br /> .局部变量 总记录数, 整数型<br /> .局部变量 每批数量, 整数型<br /> .局部变量 起始位置, 整数型<br /> .局部变量 SQL, 文本型<br /> <br /> 总记录数 = 取记录数 (“SELECT COUNT(*) FROM data_table”)<br /> 每批数量 = 100  ' 每批取100条<br /> 起始位置 = 0<br /> <br /> .循环判断首 ()<br />     SQL = “SELECT id,field1,field2 FROM data_table LIMIT ” + 到文本(起始位置) + “,” + 到文本(每批数量)<br />     进入许可区 (临界)<br />     加入成员 (任务队列, SQL)  ' 将批量SQL加入队列<br />     退出许可区 (临界)<br />     起始位置 = 起始位置 + 每批数量<br /> .循环判断尾 (起始位置 < 总记录数)<br /> <br /> ' 启动工作线程(根据CPU核心数合理控制)<br /> .计次循环首 (取CPU核心数() × 2, )  ' 推荐线程数=CPU核心数×2<br />     启动线程 (&工作线程, , )<br /> .计次循环尾 ()<br /> <br /> .子程序 工作线程<br /> .局部变量 SQL, 文本型<br /> .局部变量 连接句柄, 整数型<br /> .局部变量 记录集, 整数型<br /> <br /> .循环判断首 ()<br />     ' 从队列取任务<br />     进入许可区 (临界)<br />     .如果真 (取数组成员数(任务队列) > 0)<br />         SQL = 任务队列 [1]<br />         删除成员 (任务队列, 1, 1)<br />     .如果真结束<br />     退出许可区 (临界)<br /> <br />     .如果真 (SQL = “”)<br />         程序_延时 (100)  ' 队列空时暂停<br />         到循环尾 ()<br />     .如果真结束<br /> <br />     ' 从连接池获取连接<br />     连接句柄 = 取空闲连接 ()<br />     记录集 = 执行SQL语句 (连接句柄, SQL)<br /> <br />     ' 处理批量数据<br />     .判断循环首 (读记录集 (记录集))<br />         字段1 = 读字段文本值 (记录集, “field1”)<br />         字段2 = 读字段文本值 (记录集, “field2”)<br />         ' 在此处理单条数据...<br />     .判断循环尾 ()<br /> <br />     释放记录集 (记录集)<br />     释放连接 (连接句柄)  ' 归还连接池<br />     SQL = “”  ' 重置SQL<br /> .循环判断尾 (真)<br /> <br /> .子程序 取空闲连接, 整数型<br /> .局部变量 i, 整数型<br /> .循环判断首 ()<br />     进入许可区 (临界)<br />     .计次循环首 (10, i)<br />         .如果真 (连接池 <i> ≠ 0)<br />             返回 (连接池 <i>)<br />             连接池 <i> = 0  ' 标记为已占用<br />         .如果真结束<br />     .计次循环尾 ()<br />     退出许可区 (临界)<br />     程序_延时 (50)  ' 无可用连接时等待<br /> .循环判断尾 (真)<br /> <br /> .子程序 释放连接<br /> .参数 句柄, 整数型<br /> 进入许可区 (临界)<br /> .计次循环首 (10, i)<br />     .如果真 (连接池 <i> == 0)<br />         连接池 <i> = 句柄  ' 归还连接<br />         返回 ()<br />     .如果真结束<br /> .计次循环尾 ()<br /> 退出许可区 (临界)