Inkling 2 Mini本地推理提速

· 頻道:📰AI中文社区|AI新闻聚合 · 閱讀 0

Inkling 2 Mini本地推理提速

1. Hugging Face聯手Thinky Machines優化Inkling 2 Mini的本地推理,在96GB M5 Ultra Mac Studio上跑出210 tok/s的解碼速度,48GB M5 Max MacBook Pro也能達到125 tok/s。構建原生天氣應用的對比測試中,它比Claude Sonnet 5.5快1.8倍,API成本低11倍——本地跑小模型的性價比優勢被進一步拉大。對開發者來說,這意味著中端MacBook就能承擔日常推理任務,不必事事調用雲端API;不過速度優勢依賴特定硬件與優化鏈路,換到其他平臺未必能復現同樣的數字。

2. 原文內容:Hugging Face與Thinky Machines合作優化Inkling 2 Mini的本地推理。在96GB M5 Ultra Mac Studio上,Inkling 2 Mini解碼速度達210 tok/s;在48GB M5 Max MacBook Pro上,解碼速度達125 tok/s。在構建原生天氣應用的測試中,Inkling 2 Mini的速度比Claude Sonnet 5.5快1.8倍,API成本低11倍⋯⋯(後半略)

3. Hugging Face and Thinky Machines have optimized local inference for the Inkling 2 Mini model, hitting 210 tokens per second on a 96GB M5 Ultra Mac Studio and 125 tok/s on a 48GB M5 Max MacBook Pro. In a native weather app build test, the model ran 1.8 times faster than Claude Sonnet 5.5 while cutting API costs by a factor of eleven. The results highlight how tuned local inference can rival cloud APIs on Apple silicon, giving developers a cheaper, offline-capable option for day-to-day workloads.

該內容經過二次創作,已經去除違法違規內容。

#AI模型 #本地推理 #MacStudio #開源模型

相關文章