Ornith 發布了 Ornith-1.5-122B,這是一個 122B 的混合專家(MoE)推理模型,權重以 MIT 授權開放。Ornith 在北京時間 10 月 20 日 22:36 於 X 上宣布,權重已放到 Hugging Face。

模型卡寫明,這個模型用單張 80GB 顯示卡就能部署,在啟動指令裡加參數也可以分散到多張顯示卡上執行。X 上的發布貼文把所需硬體寫成單張 NVIDIA DGX。模型卡沒有寫每個 token 的啟用參數量。

依模型卡的說法,模型的上下文視窗最多 262,144 tokens。任務更長時,Ornith 建議用 YaRN 縮放,係數設為 4.0 時可用視窗大約擴到 100 萬 tokens;模型卡同時提醒,靜態縮放可能讓一般長度的輸入品質略為下降。

這是一個推理模型,預設會先輸出一段推理內容,再給出最終回答。模型卡要求的執行環境是 Transformers 5.8.1、vLLM 0.19.1、SGLang 0.5.9 或更新版本,範例裡也有用 llama.cpp 和 Unsloth 載入 GGUF 版本的寫法。

Ollama 在北京時間 10 月 20 日 23:22 宣布已上架這個模型,用 ollama run ornith-1.5:122b 這條指令就能在本機執行。

Ornith 自己公布的跑分表裡,SWE-bench Verified 是 84.5,SWE-bench Pro 是 76.9,BrowseComp 是 78.5。這些都是 Ornith 的自測結果,沒有經過第三方驗證。模型卡說明,SWE-bench 用的是 OpenHands 測評框架,並加了防止獎勵作弊的措施。