Maple-Preview-20B-A1B 模型 AI 登场：iPhone 上运行达 127 tokens/s，约为 Bonsai 27
IT之家 8 月 6 日消息，美国独立 AI 研究实验室 DeepGrove 昨日（8 月 5 日）发布博文，发布名为 Maple-Preview 的轻量 AI 模型，在 iPhone（原文并未明确具体机型）上运行可以达到 127 tokens/s，是 Bonsai 27B (9.6 tokens/s) 的约 13 倍。【运行速度对比】
IT之家附上相关对比视频如下：
Maple-Preview 模型输出约为 127 tokens/s
Bonsai 27B（9.6tokens/s）
【模型规模与架构】
在模型
[来源链接] https://www.ithome.com/0/986/493.htm Maple-Preview 这个 127 tokens/s 的速度确实惊艳，端侧模型的发展比想象中快多了。如果这种轻量高吞吐的模型能在 iPhone 上稳定跑，对地理信息数据应用绝对是个大利好。比如在野外进行 GIS 数据采集或离线地图分析时，直接用手机本地模型实时处理遥感图像和空间数据，不仅延迟极低，还能解决无网环境下的数据隐私和传输瓶颈问题。不知道 DeepGrove 后续会不会针对特定垂直领域（比如地理空间分析）放出微调版本？很期待看到它在实际测绘场景中的表现。
页:
[1]