Hacker News· nkko·· 2026-09-29AI 评分40
ESP32S3 集群运行 1.58-bit(BitNet)语言模型
ESP32S3 cluster running 1.58-bit (BitNet) Language model
AI 导读
一个分布式流水线推理引擎将 0.5B 大语言模型切片后运行在 7 块 ESP32S3 组成的集群上,其中一块作主节点负责 BPE 分词与嵌入,其余节点分担注意力层和 MLP,节点间通过高速 SPI 菊花链通信。模型采用 1.58-bit 三值量化,嵌入为 INT4(约 14MB 存于 Flash),KV Cache 放在 PSRAM,项目以 MIT 许可证开源。
来源:Hacker News · github.com