IT之家 | 最新鮮科技資訊小米開源“Xiaomi MiMo”大模型,7B參數超越OpenAI o1-mini
1min1 d ago
詳細信息
小米大模型團隊通過“Xiaomi MiMo”公眾號宣布,今天,小米開源首個“為推理而生”的大模型 Xiaomi MiMo,聯動預訓練到后訓練,全面提升推理能力。
據介紹,MiMo 是來自全新成立不久的“小米大模型 Core 團隊”的初步嘗試。
在數學推理和代碼競賽公開測評集上,MiMo 僅用 7B 的參數規模,超越了 OpenAI 的閉源推理模型 o1-mini 和阿里 Qwen 更大規模的開源推理模型 QwQ-32B-Preview。
官方表示,MiMo 推理能力的提升,由預訓練和后訓練階段中數據和算法等多層面的創新聯合驅動,包括:
預訓練:核心是讓模型見過更多推理模式
數據:著重挖掘富推...