实验室 · Lab
聚焦桌面端 AI-Native 生产力工具与具身实时多模态通信中枢。持续探索现代渲染架构、多媒体底层计算与硬件协同的工程极限。
核心探索
01 · 多媒体与桌面生产力
AI-Native 音视频剪辑工作台（类剪映 NLE + 自动化 Agent）
突破“旁置聊天框”的玩具形态，探索面向桌面端（Desktop）的下一代重型音视频生产力工具。让 AI Agent 深度接管多轨时间轴操作，实现真正的自动化非线性编辑（NLE）。
多轨时间轴与混合渲染管线高精度无锁音视频轨道排布、波形渲染、关键帧曲线与帧准确预览；桌面端支撑本地超大素材直读、多进程解耦与 GPU 硬件加速。
Agent 时间轴语义控制（Timeline IR）将多模态语义理解转化为确定性的时间轴操作指令——支持语义级自动粗剪、智能静音与废话裁切、多机位切换与 B-roll 轨道自动化组装。
端侧与底层编解码加速贯通
WebCodecs / WebAudio 到本地 FFmpeg 硬件编解码链路，兼顾 Web 端轻量化算法验证与桌面端工业级大吞吐。02 · 端侧多模态与实时通信
具身智能端侧感官系统（毫秒级全双工对讲）
大模型走向物理世界的核心瓶颈在端侧。基于实时双向流管道，为硬件终端构建极低延迟的“眼、耳、嘴”交互闭环。
低于 150ms 双向流管道基于
WebRTC 与 LiveKit SFU 架构，搭建超低延迟音视频双向流通信通道。端侧感官回路（眼 · 耳 · 嘴）眼：动态帧率控制与硬件加速视频流编码。
耳：端侧高灵敏 VAD 语音活动检测、AEC 声学回声消除与主动降噪。
嘴：毫秒级全双工打断机制（Barge-in）与实时 TTS 流连续消费，消除对话迟滞。
耳：端侧高灵敏 VAD 语音活动检测、AEC 声学回声消除与主动降噪。
嘴：毫秒级全双工打断机制（Barge-in）与实时 TTS 流连续消费，消除对话迟滞。
弱网鲁棒性与信号治理JitterBuffer 动态调优、丢包补偿（PLC / FEC）以及音频多通道重采样与相位对齐。