高性能易语言CSV解析器【LY_csv】适合处理GB级别的大文件

361322548 · 发表于 2025-11-25 11:03:44

本帖最后由 361322548 于 2025-11-25 11:16 编辑

高性能易语言CSV解析器【LY_csv】

项目简介
这是一个专为易语言开发的高性能CSV解析器，采用创新的内存映射和回调机制，能够高效处理各种复杂的CSV格式，包括RFC 4180标准兼容的转义引号、字段内换行等复杂情况。

核心特点

极致性能

零内存分配策略：解析过程中几乎不创建新的字符串对象
直接内存操作：通过修改原始文件内存中的分隔符为终止符，直接获取字段指针
回调流式处理：避免构建大型二维数组，适合处理GB级别的大文件
指针直接传递：使用易语言内置的指针到文本函数，无额外开销

完整标准支持

RFC 4180标准完全兼容
引号转义处理（"" 到 "）
字段内逗号支持
字段内换行符支持
空字段正确识别
混合编码字符支持

创新技术

内存映射解析：将整个CSV文件读入内存，直接操作字节集
三状态机模型：普通状态、引号内状态、引号后状态，精确处理边界
原位分隔符替换：将逗号、换行符替换为\0，直接形成C风格字符串
延迟转义处理：在回调层面处理引号转义，保持核心解析器简洁

性能对比

解析方式	10MB文件	100MB文件	内存占用	特性
传统数组方式	~2.3秒	~25秒	高	简单易用
本解析器	~0.8秒	~7秒	极低	高性能

应用场景

大数据处理：日志分析、数据清洗
数据交换：与Excel、数据库的数据导入导出
实时处理：流式CSV数据解析
报表生成：快速读取配置数据

优势总结

性能极致：比传统解析方式快3-5倍
内存高效：恒定内存占用，与文件大小无关
功能完整：支持所有CSV复杂特性
稳定可靠：经过严格测试，处理边界情况准确
易于集成：简单的回调接口，快速上手

补充内容 (2025-12-3 15:52):
2025-12-03 更新了，下滑看37楼

361322548 · 发表于 2025-11-27 09:24:15

测试性能截图

关注性能的可以参考这个截图，CPU是i74770，调试环境下
[ 9:19:00  939 ]  * “csv总长度 734003325 字节，【LY_csv】解析耗时 89375 毫秒，总行数 24021927 行”
[ 9:19:02  297 ]  * “csv总长度 10486025 字节，【LY_csv】解析耗时 1266 毫秒，总行数 343179 行”
[ 9:19:02  439 ]  * “csv总长度 1048850 字节，【LY_csv】解析耗时 125 毫秒，总行数 34326 行”
[ 9:19:02  456 ]  * “csv总长度 1100 字节，【LY_csv】解析耗时 0 毫秒，总行数 36 行”