也可运行，推出小语言模型

IT之家7月20日消息，如今小语言模型开始升温，许多厂商开始推出适用于手机等轻量级设备的“小模型”，本周HuggingFace便公布了“SmolLM”小语言模型家族，也可运行，推出小语言模型其中包含1.35亿、3.6亿及17亿参数模型，IT之家附项目如下（点此访问）。

据介绍，这些模型号称是以精心策划的高质量训练数据集训练而成，号称在Python程序编写性能上相当强大，团队指出他们重点优化了模型所需的RAM用量，“即使是在6GBRAM的iPhone15上也能运行”。

在训练方面，HuggingFace团队首先建立了一款名为SmolLM-Corpus的数据集（数据集地址点此访问），该数据集主要包含Python教学内容Python-Edu、Web教育内容FineWeb-Edu以及使用Mixtral-8x7B-Instruct-v0.1和Cosmopediav2两款模型生成的常识内容，token量总计6000亿。此后HuggingFace团队便使用SmolLM-Corpus数据集训练了“SmolLM”小语言模型。

HuggingFace团队将开发出的SmolLM模型与相同参数量的其他模型进行了基准测试，其中SmolLM-135M在多项测试中超越了小于2亿参数的其他模型；而SmolLM-360M的测试成绩优于所有小于5亿参数以下的模型，不过某些项目逊于Meta刚刚公布的MobileLLM-350M；SmolLM-1.7B模型则超越了所有参数量小于20亿参数的模型，包括微软Phi-1.5、MobileLLM-1.5B及Qwen2。