import EdgeInference
let engine = LLMEngine()
try await engine.load(config: .find(
modelID: "qwen3.5-4b"
)!)
for try await chunk in engine.generate(
messages: [.user("What is edge AI?")]
) {
print(chunk.text, terminator: "")
}5 行代码 — 加载模型，流式推理
Product Line 01
Edge Suite
开发者预览端侧持续学习全链路基础设施——为让模型在设备上随用户成长的开发者而建。从推理内核到模型进化、设备协同与应用发布，每一层都是自有代码。
全栈自有
从推理内核到 Agent 发布 — 全链路自有代码
云 AI 做不到——他们要卖算力。开源做不到——没人同时控制五层。数据物理上从不离开用户设备。当前覆盖 Apple 生态，跨平台架构已就绪。
持续学习
HALO 专利算法行业在探索让模型持续学习。我们在端侧率先落地。
Google、OpenAI、Anthropic 都在研究如何让模型随用户成长——但他们的方案依赖云端，数据必须上传。Edge Halo 基于我们专利的 HALO 算法体系，将完整的进化闭环放在用户设备上：从行为采集、画像提取、适配器训练到实时调控，数据物理上从不离开设备。
用户交互数据在设备本地加密存储
提取用户偏好的几何表征——不是关键词，是模型激活空间中的方向
在用户自己的 Mac 上训练轻量适配器，通过设备网格传回手机
实时注入到推理过程，无需重新加载模型
用户随时一键恢复到基础模型
云端 vs 端侧
Edge 产品系列
Edge Engine
面向 Apple Silicon 的原生 Metal runtime面向推理构建的 runtime。Metal 命令调度、张量抽象、模型族实现，是 Edge Kit 的基础层。
Edge Kit
端侧 AI Swift SDK完整推理 SDK，支持 LLM、VLM、ASR 和 TTS。流式输出、多轮对话、自动内存管理、LoRA adapter 支持。
Edge Halo
模型自我进化让模型随用户成长。用户画像、adapter 生命周期管理、实时 activation steering。所有数据留在设备上。
Edge Mesh
私有设备网络用户自己设备之间的本地网络。iPhone 可以把推理等重任务交付给同一网络下的 Mac 运行并取回结果，训练产物也经由它在设备间流动——全程不经云端。
Edge Scaffold
从模型到 App StoreiOS App 模板。一个配置文件、自动设备检测、四级模型分发。从优化模型到可发布应用。
Edge Studio
模型优化工作台分析、优化、基准测试并导出模型。支持 117+ 架构、设备级建议、一键生成 App。
实测性能
不是 PPT 数字 — 全部真机实测
Qwen3.5-9B-4bit，200 轮连续对话压力测试，每轮增量记录。
9B 模型 · 200 轮对话 · 逐设备实测
| 设备 | 芯片 | RAM | 首轮 | 平均 | 末轮 | TTFT |
|---|---|---|---|---|---|---|
| iPhone 17 Pro | A19 Pro | 12G | 13.6 | 11.5 | 11.4 | 496ms |
| iPhone Air | A19 Pro | 12G | 9.1 | 8.2 | 8.75 | 868ms |
| iPad Air M3 | M3 | 8G | ~9 | 9.1 | 9.06 | 2192ms |
TPS = tokens/sec · TTFT = 平均首 token 延迟 · Qwen3.5-9B-4bit · iPad Air M3 为 2048 tokens/轮 + 上下文压缩，余 1024 tokens/轮
自研推理内核 vs 通用框架
M2 Ultra 192GB · 对比基准: mlx_vlm (Python MLX)
核心能力
# 注册项目
ai-collab project register \
--name my-research \
--root ~/projects/my-research
# 创建协作场景
ai-collab scenario create \
--name kv-cache-experiment
# 启动参与者
ai-collab participant start \
--profile codex --role analyst
ai-collab participant start \
--profile claude --role reviewer
# 第二天一键恢复
ai-collab scenario resumeApp 是主入口 — CLI 服务自动化
