Inkling 2 Small權重開放
· 頻道:эйай ньюз · 閱讀 351
1. Thinking Machines 已公佈 Inkling 2 Small 的權重:該模型是 5940 億總參數、170 億激活參數的 MoE。具體細節如下:預訓練只用了 68 小時,消耗 12 萬億 token;強化學習階段又佔用 2048 張顯卡的集群運行了 9 天;推理部署至少需要兩張 B300 或四張 H200;權重和博客都發布在 Hugging Face 的同一頁面,可以直接下載自建。團隊的官方說法比較剋制:該模型的能力大致追平兩三個月前的國產模型梯隊,它是性價比突出但並非全面碾壓的模型。對算力有限的團隊來說,低激活 MoE 的每 token 成本值得持續關注;但需要記住,5940 億總參數不等於單卡能跑,真正決定部署開銷的是激活規模與顯存帶寬。
2. 原文內容:Это MoE на 594 миллиарда параметров с 17B активных. Претрейн закончили всего за 68 часов, использовав 12 триллионов токенов. На RL ушло ещё 9 дней кластера в 2048 видеокарт.⋯⋯(後半略)
3. Thinking Machines has released the weights for Inkling 2 Small, a 594-billion-parameter mixture-of-experts model with 17 billion active parameters. Pretraining took just 68 hours on 12 trillion tokens, followed by nine days of reinforcement learning across a 2,048-GPU cluster. Serving it requires two B300 or four H200 chips. The team pitches the model as competitive with Chinese releases from two to three months ago, with a larger version still to come.
該內容經過二次創作,已經去除違法違規內容。
#人工智能 #開源模型 #MoE #HuggingFace