Kolibri、英独二言語と配備主権を設計したopen-weight MoE
これは何?KolibriはAleph Alphaが政府・規制産業のon-premise利用を想定して開発した、英語とドイツ語のopen-weight大規模言語modelです。
総parameter約780億、token当たり約35億を使うMixture of Experts modelで、Apache 2.0のweightと最大100万tokenのcontextを提供します。German dataを事前学習tokenの21.3パーセントに置き、専用tokenizer、学習pipelineのcode化、checkpoint自動復旧まで含めて、言語性能と運用主権を一体で設計しました。
規制dataを外部inferenceへ出せない組織にとって、weight公開だけでなく、言語data、学習工程、配備先を説明できることが選定条件になります。一方、提供元benchmarkは独立evalと実hardwareでのcost検証が必要です。
- 読むべき人
- LLM platform engineer、公共・金融・製造のAI導入担当、model evaluation担当者
- HN
- 441 points / 274 comments