import EdgeInference
let engine = LLMEngine()
try await engine.load(config: .find(
modelID: "qwen3.5-4b"
)!)
for try await chunk in engine.generate(
messages: [.user("What is edge AI?")]
) {
print(chunk.text, terminator: "")
}5 行代码 — 加载模型，流式推理
Product Line 01
Edge Suite
开发者预览端侧持续学习全链路基础设施——为让模型在设备上随用户成长的开发者而建。从推理内核到模型进化、设备协同与应用发布，每一层都是自有代码。
全栈自有
从推理内核到 Agent 发布 — 全链路自有代码
云 AI 做不到——他们要卖算力。开源做不到——没人同时控制五层。数据物理上从不离开用户设备。已在 Apple 与 Intel 两大芯片平台落地：开发者工具当前面向 Apple 生态，Intel 平台运行时已交付世界头部 PC 整机制造商。
持续学习
HALO 专利算法行业在探索让模型持续学习。我们在端侧率先落地。
Google、OpenAI、Anthropic 都在研究如何让模型随用户成长——但他们的方案依赖云端，数据必须上传。Edge Halo 基于我们专利的 HALO 算法体系，将完整的进化闭环放在用户设备上：从行为采集、画像提取、学习状态固化到实时调控，数据物理上从不离开设备。
用户交互数据在设备本地加密存储
提取用户偏好的几何表征——不是关键词，是模型激活空间中的方向
在设备上把画像固化为 Neural Imprint 学习状态——不改权重、不做微调
实时注入到推理过程，无需重新加载模型
用户随时一键恢复到基础模型
云端 vs 端侧
Edge 产品系列
Edge Engine
面向 Apple Silicon 的原生 Metal runtime面向推理构建的 runtime。Metal 命令调度、张量抽象、模型族实现，是 Edge Kit 的基础层。
目前支持：iOS 17+ · macOS 14+ · Apple 芯片（A / M 系列）
Edge Kit
端侧 AI Swift SDK完整推理 SDK，支持 LLM、VLM、ASR 和 TTS。流式输出、多轮对话、自动内存管理，以及 Neural Imprint 学习状态的捕获与恢复。
目前支持：iOS 17+ · macOS 14+ · Apple 芯片（A / M 系列）
Edge Halo
模型自我进化让模型随用户成长。用户画像提取、Neural Imprint 学习状态的生命周期管理（兼容性校验、恢复、回滚）、实时 activation steering。所有数据留在设备上。
目前支持：iOS 17+ · macOS 14+ · Apple 芯片（A / M 系列）
Edge Mesh
私有设备网络用户自己设备之间的本地网络。iPhone 可以把推理等重任务交付给同一网络下的 Mac 运行并取回结果，训练产物也经由它在设备间流动——全程不经云端。
目前支持：iOS 17+ · macOS 14+ · Apple 芯片（A / M 系列）
Edge Scaffold
从模型到 App StoreiOS App 模板。一个配置文件、自动设备检测、四级模型分发。从优化模型到可发布应用。
目前支持：iOS / iPadOS 18+ · Apple 芯片（A / M 系列）
Edge Studio
模型优化工作台分析、优化、基准测试并导出模型。支持 117+ 架构、设备级建议、一键生成 App。
目前支持：macOS · Apple 芯片（M 系列）
实测性能
不是 PPT 数字 — 全部真机实测
Qwen3.5-9B-4bit，200 轮连续对话压力测试，每轮增量记录。
9B 模型 · 200 轮对话 · 逐设备实测
| 设备 | 芯片 | RAM | 首轮 | 平均 | 末轮 | TTFT |
|---|---|---|---|---|---|---|
| iPhone 17 Pro | A19 Pro | 12G | 13.6 | 11.5 | 11.4 | 496ms |
| iPhone Air | A19 Pro | 12G | 9.1 | 8.2 | 8.75 | 868ms |
| iPad Air M3 | M3 | 8G | ~9 | 9.1 | 9.06 | 2192ms |
TPS = tokens/sec · TTFT = 平均首 token 延迟 · Qwen3.5-9B-4bit · iPad Air M3 为 2048 tokens/轮 + 上下文压缩，余 1024 tokens/轮
自研推理内核 vs 通用框架
M2 Ultra 192GB · 对比基准: mlx_vlm (Python MLX)
核心能力
App 是主入口 — CLI 服务自动化
