墨飞投屏MofeiCast 2.0：从投屏工具到自动化平台的进化

yimoha

墨飞投屏（MofeiCast）是一款无需权限的Android投屏+控制+自动化平台，区别于普通投屏工具，我们的核心定位是**把手机变成可编程的终端**。2.0版本在1.0的基础上完成了多项工程级优化，并保留了我们标志性的差异化能力，下面为大家详细拆解。




作为一款专业级的Android自动化平台，我们保留并强化了以下标志性差异化能力：
### 1. 零Root、零云端的本地USB方案
基于USB 协议实现，无需Root手机，无需依赖云服务器转发
低延迟、高隐私，所有数据都在本地传输，无需经过第三方服务器
支持横竖屏自适应，分辨率变化实时通知，画面自适应调整

### 2.  HID级系统注入与拟人化抗检测
- 走Android AOA HID协议底层注入触摸/按键事件，比无障碍手势更底层、更难被检测
- 内置压感/面积动态变化、系统键时序随机化、坐标微抖±1px多维度拟人化，默认开启
- 支持物理键盘实时转发到手机HID键盘，修饰键+6键rollover全支持

### 3. 完整无障碍能力REST化
- 将Android AccessibilityService几乎所有能力通过本机HTTP API（127.0.0.1:7799）暴露
- 支持节点树查询、选择器查找、click/scroll/paste、坐标手势、窗口枚举、截图、批量动作等
- WebSocket实时推送设备事件和无障碍事件，方便二次开发

### 4. AI Agent自然语言自动化
- 基于火山方舟（Ark，OpenAI兼容接口）function calling实现闭环自动化
- 两种决策模式：节点树模式（速度快、token省）、视觉模式（截图给多模态模型看图决策）
- 28+个工具函数，支持click/tap/swipe/drag/scroll/copy/cut/paste等操作
- 模型调用失败指数退避重试，限流自动适配，截图自动剥离历史旧图省token

### 5.  共享内存零拷贝抓帧
- 通过Windows命名共享内存（`Local\MofeiFrame_{vid}_{pid}_{bus}{addr}_{serial}`）暴露视频帧为标准24bpp BMP
- 外部进程（按键精灵/大漠/易语言/AutoHotkey/C/C++/Python）可一次`OpenFileMappingW`长期保活复用，零拷贝高效找图找色
- 长边超1080自动Box Filter下采样，旋转/分辨率变化永不重建映射

### 6.  多设备协同与并行传输
- 支持左侧设备卡片框选协同组，操作一键广播到所有协同设备
- 文件广播已用`Task.WhenAll`并行化，多设备传输效率大幅提升
- 支持多设备同时投屏到一台电脑，统一管理和控制


### 7.  内置AI视觉识别三件套
- **验证码识别**：ddddocr `common_old.onnx` + 火山方舟视觉模型，支持数字/字母/滑块三子卡独立开关
- **YOLO目标检测**：用户本地导入YOLOv8/v11 onnx模型，内置COCO 80类标签，支持自定义标签
- **OCR文字识别**：PaddleOCR det+rec模型，内置ppocr_keys_v1.txt字典，返回格式兼容PaddleOCR
- ONNX推理走DirectML，任意DX12 GPU即可加速，子进程隔离探测防native崩溃


### 8.  全GPU渲染管线
- Media Foundation硬解H.264视频流
- D3D11 NV12→BGRA着色器转换，CPU占用极低
- 失败回退WriteableBitmap CPU路径，兼容性拉满
- 音频同步直传（PCM 48kHz立体声），每设备独立静音且状态持久化


可以查看以下对接例子
万能验证码识别
操控对接

风一样存在

这个值得推荐~

风一样存在

感谢分享!