该演示搭载了 Arm Ethos-U85 NPU ,并在嵌入式硬件上运行小语言模型。尽管大语言模型 (LLM) 更加广为人知,但由于小语言模型能够以更少的资源和较低的成本提供出色的性能,而且训练起来也更为简易且成本更低,因此越来越受到关注。
紧接着,香橙派官方发布OrangePi 5Plus运行Deepseek-R1蒸馏模型实操指南,赶紧收藏起来吧!