小米大模型上线新模式 推理速度突破1000 tokens/s
6月8日晚,小米型上线新小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,大模在通用GPU上推理速度突破1000 tokens/s。模式
MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的推理突破全链路工程能力优化,在不降低模型能力前提下,速度首次把推理速度提升至1000 tokens/s,小米型上线新且无需定制芯片、大模只使用通用GPU即可达成。模式这一突破打破了“快、推理突破强、速度通用 GPU无法兼得”的小米型上线新行业不可能三角。
小米MiMo技术团队表示,大模该突破是模式基于Xiaomi MiMo-V2.5 Pro的SWA架构,叠加了FP4 Experts、推理突破DFlash解码以及TileRT团队的速度执行系统Co‑design,从模型到推理引擎再到GPU执行路径进行了全链路优化。
即日起至6月23日,MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,通过申请的用户可接入API 进行体验。
自4月底以来,小米AI在模型能力、推理成本和推理效率三个维度接连取得突破:4月23日, MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上,获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%,并同步调整Token Plan计费体系。6月8日,MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。
- ·《迈克尔·杰克逊:巨星之路》IGN3分:无聊透顶 失去灵魂!
- ·天下晨間新聞:川普完全執政在望,道瓊大漲1508點,三大指數衝新高|天下雜誌
- ·輝達遭中國反壟斷調查,AMD為何跌更重?|中國又要撒錢了,這次重點是什麼?|天下雜誌
- ·2018年光伏玻璃行业发展现状与市场前景分析 产能产量占大部分国家九成以上,市场研究
- ·45岁可以买的重疾险,2022年45岁可以买的重疾险
- ·《黑相集:指令8020》新预告 支持DLSS4和路径追踪
- ·《辐射4》新版上线将至 mod服务将暂时暂停
- ·探访惠仙古道:奇特的石头 仍在使用的宋代古桥
- ·台湾25年来最大地震,“宛如9·21梦魇重现”
- ·奧特曼為何預言AGI「明年」就會登場?|天下雜誌
- ·周二之约:听武平人,讲武平事
- ·双层玻璃杯隔热效果如何 双层玻璃杯属于保温杯吗,行业资讯
- ·友商纷纷涨价 余承东谈华为手机为何不涨价
- ·財經一週:台積停供中國7奈米晶片、馬斯克當官了、比特幣漲破9萬美元|天下雜誌
- ·爱航八宝粥品种齐全,公司鼎力支持!迎战旺季,就选爱航八宝粥!
- ·锁定本周日广州逸景翠园!清远丝苗米邀您试吃套圈赢好米
