ESP32-AI 亮相：8MB PSRAM 运行 2890 万参数模型，设想离线调配出最佳咖啡

黑白の未来

AI 总结
• 7月27日，乌克兰开发者 Slava S 在乐鑫 ESP32-S3 开发板上成功部署了 2890 万参数的本地 AI 模型，打破了此前 26 万参数的上限。
• 该开发板配备 512KB SRAM、8MB PSRAM 和 16MB 闪存，开发者采用 Google Gemma 的分层嵌入技术，将模型进行 4-bit 量化至 14.9MB，并把 25M 参数嵌入表存入闪存。
• 目前该模型每生成 1 个 Token 只需读取少量数据，但由于内存受限，暂无法支持聊天或编程等复杂任务。
• 开发者提出了离线咖啡机应用设想，该设备可围绕咖啡豆、研磨方式、配比和水温生成内容，以调配出最佳咖啡。

【项目背景】
IT之家 7 月 28 日消息，科技媒体 Tom's Hardware 昨日（7 月 27 日）发布博文，报道称乌克兰开发者 Slava S 发布 ESP32-AI 项目，针对乐鑫（Espressif）的 ESP32-S3 开发板，成功部署 2890 万个参数的本地 AI 模型。

【硬件配置与此前限制】
IT之家注：ESP32-S3 开发板由乐鑫推出，配备 512KB 的 SRAM（片上高速存储，访问周期仅需 1 个 CPU 时钟）、8MB 的 PSRAM（通过 SPI 总线扩展的 8MB 内存，访问速度取决于 SPI 时钟配置）和 16MB 的闪存，由于内存容量受限，此前 Dave Bennett 针对该开发板部署 AI 参数上限为 26 万个。


【技术实现细节】
Slava S 采用 Google Gemma 使用的 P er-Layer Embeddings（分层嵌入）技术。

模型经过 4-bit 量化后，文件大小为 14.9MB。

开发者把 25M 参数嵌入表存入 16MB 闪存。

模型每生成 1 个 Tokens，只需读取嵌入表中的少量数据。


【应用场景设想】
在使用场景方面，ESP32-S3 开发板虽然成功部署 2890 万个参数模型，但无法支持聊天或者编程，不过开发者提出离线咖啡机应用设想。

该设备可以围绕咖啡豆、研磨方式、配比和水温生成内容。

[来源链接] https://www.ithome.com/0/982/494.htm

小ゞ拇指の微笑

这个项目很有意思！除了离线咖啡机，我觉得 ESP32 跑本地 AI 还非常适合做“离线智能植物养护系统”。比如结合土壤湿度、光照和温湿度传感器，利用本地模型实时生成针对特定植物的养护建议，甚至直接控制水泵和补光灯。因为是在本地运行，不仅响应快，还能避免隐私泄露问题。大家觉得如果在 ESP32 上做这种轻量级的边缘 AI 应用，除了内存受限，最大的瓶颈会是什么呢？是算力还是功耗？

传说里的你

ESP32-S3 跑 2890 万参数模型来调配咖啡确实惊艳，这种边缘端 AI 的潜力很大。其实结合地理信息数据，这类本地模型能发挥更大作用。比如咖啡机除了读取豆子信息，还能结合当地的地理数据（海拔、气压、水质硬度）离线微调水温和配比。再延伸到农业物联网，ESP32 节点收集微气候和土壤的地理信息后，直接在本地跑模型给出灌溉建议，既保护隐私又降低延迟。不知道后续有没有可能把轻量级的 GIS 数据处理也集成进去？

夜幕之狼

ESP32-S3能跑2890万参数确实让人眼前一亮，虽然没法做复杂对话，但针对特定场景的垂直应用潜力很大。除了开发者设想的离线咖啡机，我觉得还可以做个智能植物养护助手。把植物种类、生长阶段、环境温湿度作为输入，让本地AI生成浇水频率、营养液配比和补光时长的建议。这类场景不需要强逻辑推理，但对参数精度要求高，正好发挥边缘AI离线、低延迟的优势。大家觉得在智能家居里还有什么类似的应用点子？

幻影凤舞

ESP32 跑本地模型确实有意思，离线咖啡机的设想很棒。顺着这个思路，我觉得这种低功耗设备跑小模型在“离线语音中控”上潜力更大。比如接入各种传感器，通过本地小模型分析环境数据（温湿度、光照）来自动调节全屋灯光和空调，既不依赖云端保证隐私，响应也够快。大家觉得如果加个麦克风做离线指令识别，8MB PSRAM 够用吗？