JetBrains開源其第一個針對程式碼完成任務設計的語言模型Mellum,並已發布於Hugging Face平臺,供研究與開發人員取用。JetBrains稱Mellum為專精模型(Focal Model),其並非試圖涵蓋所有自然語言任務的通用模型,而是聚焦程式碼理解與補全的單一應用場景,藉此在有限參數規模追求最佳的任務適應性與部署效率。
Mellum-4b-base模型具有40億個參數,採用類似LLaMA的架構,支援8,192個token的上下文長度,並經由JetBrains團隊從零開始訓練,而非基於現有開源模型進行微調。其訓練資料總量達4.2兆token,涵蓋如The Stack、StarCoder訓練集、CommitPack與英文維基百科等公開語料,針對Java、Python、C/C++、JavaScript、TypeScript、Go、Kotlin、PHP、Rust等語言進行學習,目的在於提供準確且上下文一致的程式碼完成能力。
JetBrains表示,Mellum設計概念回歸機器學習早期專精模型的想法,強調深度大於廣度,與當前大型語言模型普遍追求多任務通用能力的趨勢有別。在Mellum架構下,模型不僅在訓練資源上更節省,其可部署的彈性也大幅提升,能在如llama.cpp、Ollama等環境本地執行,也可透過vLLM於雲端部署。
在效能表現方面,Mellum-4b-base在JetBrains內部的HumanEval Infilling測試中,單行程式碼完成通過率為66.21%,多行完成為38.5%。此外,在RepoBench與SAFIM等程式碼評測中,Mellum於自身支援的上下文長度範圍,整體效能達到一定的水準。
雖然Mellum在效能上仍不及CodeLlama-13B或DeepSeek-Coder-6.7B等規模較大的模型,但JetBrains強調,Mellum的設計目標並非取代通用語言模型,而是適合研究訓練策略、推論效率與模型專精化之用。
目前公開的Mellum版本為未經下游任務微調的基本模型,但已可支援進一步的監督式微調(SFT)與強化學習(RLHF)流程。JetBrains同時釋出針對Python語言的SFT版本模型,並預告將陸續推出針對其他語言任務的模型變體,對應不同程式語言與開發場景。