Shisa 7B リリース

シーサー7B ​（ shisa-7b-v1 ）は、​合成データ駆動の​アプローチを​用いて、​優れた​日本語と​英語能力を​両立する​ことを​目指すバイリンガル​（日本語/英語）​汎用チャットモデルです。

この​モデルは、​ Mistral 7B を​基に、​Mistralの​オリジナルの​トークナイザーよりも​日本語に​おいて​2倍以上​効率的な、​日本語​最適化拡張トークナイザーを​カスタムして​作成されました。​ベースモデルは、​主に​日本語の​トークンを​追加で​80億もの​トレーニングを​行いました。​そして、​その後、​ airoboros-3.1 の​拡張された​機械翻訳版、​ ultrafeedback_binarized からの​最高得点項目の​セット、​そして​新たに​生成された​ airoboros の​データを​直接目標言語で​微調整しています。

商用を​含む​あらゆる​目的で​使用可能な​寛容な​Apache 2.0ライセンスの​下で、​ベースモデル、​データセット、​および​パイプラインコードも​公開しています。​さらに、​アブレーション結果、​テスト方​法論、​主要な​調査結果など、​プロセスの​詳細や​拡張ライトアップを​公開する​過程に​あります。​これは​ 当プロジェクトwiki で​研究者に​興味深い​情報と​して​提供されています。