Sakana AIが​Shisa-Gamma-7b-v1を​用いて​モデルを​進化

Sakana AIは、​LLMの​「進化的モデルマージ​（Evolutionary Model Merges）」に​関する​刺激的な​新しい​研究成果を​発表しました。​これは、​進化アルゴリズムを​応用して、​異なる​モデルを​組み合わせる​最適な​方​法を​発見する​ものです。​彼らの​研究は、​進化アルゴリズムを​用いて、​異なる​ドメインの​既存の​オープンソースモデルを​組み合わせる​ことで、​特定の​能力を​持つ新しい​基盤モデルを​自動的に​生成できる​ことを​実証しています。

驚いた​ことに、​彼らが​私たちの​命令チューニング済みモデルである​shisa-gamma-7b-v1を、​彼らが​開発した​すべての​進化モデルの​日本語バックボーンモデルと​して​使用していた​ことを​知り、​非常に​感激しました​（これに​より、​最近の​モデルダウンロード数の​増加が​説明が​つきました）。

彼らが​開発した​日本語数学LLMは、​複数の​日本語LLMベンチマークで​最高水準の​成果を​達成し、​一部の​70Bパラメータモデルさえも​凌駕しました。​Sakana AIチームに​改めて​祝福を​送ります。​私たちの​モデルが​このような​革新的な​方法で​使用されている​ことを​非常に​嬉しく​思います。