流式大文件CS架构传输工具.基于Hpsocket组件

imoling · 发表于 2025-8-16 11:17:54

本帖最后由 imoling 于 2025-8-16 17:10 编辑

本源码参用HPsocket组件进行网络通信。采用流式文件传输，内存占用较低，基本0损耗无波动。
使用PACK模式包大小请自定义，我使用1024*1024
支持多用户多文件，单用户多文件，同时并发传输，理论单文件传输可以达到几百G几个T甚至几PB。
服务端基本ok。只要加点存储文件记录等就ok，我这边没有做，客户Duan么，只要自己加线程就ok了。最好是线程队列发送。
客户Duan的回调函数如果不喜欢用鱼刺的，可以换成指针方式，自行更换注意销毁就ok.
【用到的模块】
服务端-HPsocket,大文件内存映射,精易
客户Duan-HPsocket,大文件内存映射,精易,鱼刺-多线程应用
【测试传输时环境】
客户Duanwin10.
服务器server2012
传输文件 20Gb
客户Duan内存占用 8.7MB
服务端内存占用 11MB--------------------------------------------------------
各位群友有什么其他好方法也可以交流，比如最近遇到复制文件，备份等问题。
打开的文件没法复制，想采用VSS 卷影复制方法，或者磁盘扇区复制方法，通过createfile指针方式，不过出了各种问题，打开的文件还是没法读取。。不知道是不是权限问题。
---------------------------------------------------------
论坛找了一下，说是支持大文件，直接传输一般只要大鱼4G，直接崩，hpsocket自带的。超过16G直接崩。。。要么就是单独文件，要么多用户并发或者单用户多文件同时发起就崩。。
本来要使用Pull模式，但是要进行沾包拆包组包包排序有点麻烦，就使用pack模式，但是pack模式最大4MB，这就尴尬了，要拆包但是要考虑包是不是同一个用户的，并且是不是同一个用户的同一个文件，所以干脆把文件直接拆了之后在固定成包大小，在每个包的包头再加上head头信息，类似pull模式，但是不用考虑包排序。效率低点，但是不用考虑包排序，因为pack会按顺序发，挺好
然后采用打开文件方式，使用了群里的内存大文件打开方式，可以获得长整数型，8字节理论单文件可以达到整个硬盘大小-1，总之呢就是很大。
有需要的小伙伴可以拿去改一下包头信息，加密方式等，就可以进行传输了。我主要用来进行多用户，大文件的传输.

重新打包一下，客户Duan和服务端一起，模块单独，模块包内工3个文件.鱼刺，大内存，hp。如果有了。可以不用下。

ServerAndClient.rar (613.55 KB, 下载次数: 131)

曾繁希 · 发表于 2026-4-25 19:27:47

学习一下

短发控 · 发表于 2026-1-21 20:36:06

感谢分享，很给力！~

imoling · 发表于 2025-12-24 14:59:46

fasdfasfa 发表于 2025-12-22 14:22
发送的速度是固定值?不能取最大宽带吗?

不会慢，投递时是直接投递，系统会根据网络带宽自动分配的，1mb是包的大小，非传输的每秒速率。非要快点，可以更改客户Duan底下的数据包处理的间隔，缩短。但是会占用很大的宽带，得系统能处理得过来才行，否则会放入队列。。。另外也得服务端支持才行。。

fasdfasfa · 发表于 2025-12-22 14:22:46

发送的速度是固定值?不能取最大宽带吗?

小叮 · 发表于 2025-11-7 20:21:57

感谢分享，很给力！~

yxl2008 · 发表于 2025-10-15 23:27:55

感谢分享，很给力！~

imoling · 发表于 2025-10-7 10:10:51

米米粒发表于 2025-9-30 16:10
请问这个只能nei网使用吗

可以wai网，但是前提是的服务端需要开放对应的端口，不管是动态域名dns或者ip

米米粒 · 发表于 2025-9-30 16:10:13

请问这个只能nei网使用吗

罗泠雨人 · 发表于 2025-9-19 01:10:37

感谢分享，很给力！~

		自动登录	找回密码
密码			注册

[易源码分享] 流式大文件CS架构传输工具.基于Hpsocket组件

评分

本帖被以下淘专辑推荐: