研究
我们的研究包括 Neural Imprint、模型加载、量化、语音与多模态推理。
Neural Imprint：与用户一同成长的模型——不更新权重的端侧 AI 进化
Neural Imprint 将本地记录提炼为可保存、可恢复的推理状态，让模型在后续会话中延续学习结果，基座权重保持冻结。
- ▶在 8 个应用领域、2 种模型规模（Qwen3.5-4B / 9B）和 2 台 iPhone 上验证，使用合成行为数据（3,283 条记录）
- ▶16/16 A-library 健康门控通过（8 领域 × 2 模型规模）
- ▶16/16 个性化画像回答零工具调用完成；16/16 工具自主调用正确
- ▶完整流水线运行于消费级 iPhone 的 6 GB 内存上限之内，零云端依赖
- ▶手稿（2026）——全文暂未公开
Intel 平台上的端侧语音与 9B 对话：从 Apple 迁移的流式引擎
把为 Apple 芯片构建的流式语音引擎迁移到 Intel Core Ultra（CPU + Arc 核显），基于 OpenVINO 自研推理运行时；语音识别、9B 大模型与语音合成同机常驻，已两次交付一家 PC 整机制造商。
- ▶有状态流式声码器：0.4 秒分块解码，逐块与整句输出信噪比 115.9–116.4 dB
- ▶开始出声 0.37 秒，语音合成实时率 0.73；开源参考实现 15–20 秒、2.1–2.9
- ▶NI 算法与架构首次在非 Apple 平台验证成功
- ▶拆分预测器、CPU 与核显流水线；30 分钟连续合成 357/357 句完整
按层流式卸载：在 8GB 边缘设备上运行 9B+ 大模型
通过从 NVMe 存储按层流式加载权重，使超出设备内存的模型能在 iPad 和 iPhone 上推理。88% 峰值内存减少，带宽缩放在 Apple Silicon 设备上得到验证。
- ▶60–88% 内存减少：27B 模型仅需 1.7 GB 峰值内存即可运行
- ▶本次 8GB iPad 测试中，9B 6-bit 配置因内存不足失败；流式加载用于降低此类配置的内存需求
- ▶该测试的吞吐量比为 1.92×，接近设备的 2× 标称带宽比
推测解码对混合专家模型有帮助吗？
306 次实验比较 Qwen3.5-35B-A3B MoE 的推测解码配置。所测配置观察到 1.18–1.30× 加速，草稿接受率低于 4%；批量验证摊销是对这一结果的机制解释假设。
- ▶0.8B 草稿模型在 γ=16 时实现 1.30× MoE 加速，接受率仅 0.2%
- ▶本组实验中，加速幅度与总参数量及内存带宽开销相关
- ▶一种可能的解释：批量验证摊销了权重读取的带宽开销
Apple Silicon 端侧 LLM 推理：从量化到投机解码
在 M2 Ultra、M1 Max 和 M2 Pro 上比较 Qwen3.5 的 7 种 GGUF 量化级别与推测解码。在所测配置中，Q6_K 位于质量、大小与速度的折中前沿；草稿与目标速比约 2.5× 是该实验的参考点。
- ▶所测 Q6_K 配置：速度提升 1.68 倍，体积缩小 59%，PPL 损失 0.54%
- ▶投机解码吞吐量提升 +25.7%（0.8B→9B，k=4）
- ▶GGML_RPC 跨设备 SD：79% 开销——不适合生产部署
消费级硬件上的跨域个人数据整合
我们比较财务、饮食、情绪和阅读的单域与四域输入评分，并测试设备间的摘要传输。
- ▶比较单个生活领域与四个领域组合后的输出评分
- ▶该测试报告 125.5× 摘要压缩比；摘要仍可能包含隐私信息
- ▶49.9 TPS 实时推理 (35B on M2 Ultra)
ANE 批量预填充实现端侧并行 LLM 推理
通过融合批量矩阵-向量内核，在 Apple Silicon 上并发执行 ANE 预填充与 GPU 解码。所测配置的批量调度吞吐量为基线的 11.3×，不代表端到端推理提速。
- ▶批量调度加速 11.3 倍 (268 tok/s)
- ▶并发管线测试中的功率下降 79%
- ▶多轮对话测试中的首 token 延迟为 27ms
Apple Silicon 上的分离式 LLM 推理
基准测试 CoreML ANE 预填充 + MLX GPU 解码，在 Apple Silicon 上对比四种 Qwen3.5 推理策略。
- ▶ANE 预填充在约 410 token 处追平 GPU
- ▶预填充测试中的 GPU 功率降低 282 倍
- ▶4 种推理管线全面基准测试
端侧文本转语音
Qwen3 TTS 0.6B 的原生 Swift 实现，支持实时端侧语音合成。
- ▶67% 模型压缩 (2.35 GB → 808 MB)
- ▶实时合成 (RTF 0.68x)
- ▶支持 12 种语言
端侧视觉语言模型
多阶段压缩管线，将 Gemma 3 4B VLM 部署到消费级硬件。
- ▶25% 模型压缩 (2.8 GB → 2.1 GB)
- ▶110 tok/s 文本生成
- ▶3.4x 图像处理加速