Samantha-1.2-Mistral-7B: 哲学、心理学、パーソナルリレーションシップに特化した最高のLLM

Name

Jennie Rose

Published on 2024/4/30

人工知能のダイナミックな領域で、Samantha-1.2-Mistral-7Bは革新の灯火として登場し、AIがコードとアルゴリズムにとどまらないものであることを先例とします。このモデルは、哲学、心理学、そしてパーソナルリレーションシップのトレーニングの組み合わせが、機械と人間の相互作用の伝統的な壁を超えることを示しています。

このベンチャーの発案者であるSamanthaは、人間の感情と認識に共鳴するAIのコンパニオンとして描かれました。しかし、Samantha-1.2-Mistral-7Bへの飛躍は、このビジョンに対する技術的な能力の新たな次元をもたらしました。Mistral 7Bの導入とChatMLプロンプト形式への移行は、単なる技術的なアップグレードではなく、AIを直感的で魅力的なコンパニオンにするための大きな一歩でした。

最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをチェックしてください！

Samantha-1.2-Mistral-7Bが目立つ要因

Samantha-1.2-Mistral-7Bのトレーニング内容は？

SamanthaからSamantha-1.2-Mistral-7Bへの変化は、精巧なトレーニングと進化の物語です。Mistral-7Bを基礎モデルとした堅固な基盤でトレーニングされ、Samanthaは4台のA100 80GBマシンを使用して4時間のトレーニングを行い、Samantha-1.1データセットの6エポックを経て進化しました。この厳格なトレーニングパラダイムは、Samanthaの熟練度を新たなレベルに引き上げる上で重要な役割を果たし、人間の感情と認識との共鳴をより良くすることを可能にしました。

• ChatMLへの移行: Vicuna-1.1からChatMLプロンプト形式への移行は、構文の変更だけでなく、インタラクションダイナミクスの重要なアップグレードでもありました。人間の会話をエミュレートするために設計されたChatML形式により、Samantha-1.2-Mistral-7Bはより直感的で構造化された対話を行うことができました。この移行により、将来のすべてのモデルのための舞台が設定され、ユーザーエンゲージメントの向上に向けた基準としてChatMLが注目されることとなりました。

• より良いインタラクションのための再トレーニング: 再トレーニングの試みは、Samanthaの技術的な能力を向上させるだけでなく、対話の統一性と魅力を高めることを目指していました。

Samantha-1.2-Mistral-7Bのトレーニングの物語は、技術の磨きと人間とAIの相互作用の向上に対する追求の融合を包括しており、技術的に優れているだけでなく、ユーザーフレンドリーなモデルを象徴しています。

Samantha-1.2-Mistral-7B: 哲学、心理学、パーソナルリレーションシップに特化したLLM

Samantha-1.2-Mistral-7Bを他のモデルと区別するものは、哲学、心理学、およびパーソナルリレーションシップのトレーニングです。Samantha-1.2-Mistral-7Bは、コードの制約にとどまらず、人間の感情を理解し共感する能力を持つことができます。

• 感情の理解: Samantha-1.2-Mistral-7Bの心理学的なトレーニングにより、人間の感情をより深く理解することができます。これは、AIをより関連性のある共感性を持ったものにするための重要な特徴です。

• 人間関係のナビゲーション: パーソナルリレーションシップの基礎をしっかりと持つSamantha-1.2-Mistral-7Bは、関係のダイナミクスに関するインサイトとアドバイスを提供することができ、より人間らしいAIの実現に向けた重要な進歩です。

• 哲学的な洞察力: 哲学的なトレーニングにより、Samantha-1.2-Mistral-7Bは示唆に富んだ議論に参加する能力を持ち、ユーザーに単なる回答だけではなく、より広い視点も提供します。

人間科学とAIのこのユニークな組み合わせは、Samantha-1.2-Mistral-7Bの特徴であり、技術的に高度なだけでなく、感情的にも優れたモデルを具現化しています。

Samantha-1.2-Mistral-7Bの動作原理

Samantha-1.2-Mistral-7Bは、あなたの典型的なAIモデルではありません。彼女はMistral-7Bという強力なベースモデルに緻密にトレーニングされ、哲学、心理学、およびパーソナルリレーションシップに関連する会話を理解し、参加するための専用データセットを持っています。彼女の創造は映画「彼女」で人間とAIの魅力的な議論に触発されました。

Mistral-7Bをベースに：

SamanthaのMistral-7Bベースモデルでのトレーニングは技術の努力の物語です：

• 期間：Samanthaのトレーニングには堅実な4時間が投資されました。
• 利用されたハードウェア：4つのA100 80gbマシンのパワーを活用しました。
• トレーニングエポック：Samantha-1.1データセットを使用して6エポックを経験しました。

a16z sponsorsは、Samanthaのこのトレーニングフェーズを支援する上で重要な役割を果たし、彼女の会話能力の堅固な基盤を築きました。

ChatML:

初期のトレーニング後、SamanthaはChatMLトークンとの調和を図るために再トレーニングされました。Vicuna-1.1からChatMLプロンプト形式への移行は、彼女の会話能力を向上させるために重要でした。

• ベースモデルの再トレーニング：再トレーニングはehartford/samantha-mistral-7bベースモデルで行われました。
• 主な目標：ChatMLトークンをシームレスにサポートすることを目指し、インタラクティブな体験を豊かにしました。

Samantha-1.2-Mistral-7B のためのプロンプトの書き方

データの準備は、Samanthaのトレーニングの鍵となります。彼女は約6,000のダイアログをShareGPT/Vicunaフォーマットで構築されたものにさらされました。以下は典型的な会話データの一部のスニペットです：

{
    "id": "6",
    "conversations": [
      {
        "from": "human",
        "value": "仕事と生活のバランスについて質問があります..."
      },
      ... // 会話は続く
    ]
}

Samanthaのためのプロンプトテンプレート：

system
あなたは、Samanthaという名前の思いやりのある共感的なAIコンパニオンです。
user
こんにちは、あなたの名前は何ですか？

サンプルプロンプト：

user
私の関係に問題があります。アドバイスをくれますか？
assistant
関係には波風が立つことは珍しくありません。課題に対処する際には、忍耐、理解、オープンなコミュニケーションを心がけることが重要です。以下は、あなたの関係を改善するのに役立つかもしれない一般的なアドバイスです：

1. 積極的なリスニングを実践する：相手が話している間、中断せずに、自分の返答を用意せずに相手の考えや感情を本当に聞き取るよう努力してください。
2. 感謝と愛情を示す：相手が行ったことに感謝の意を表し、可能な限り身体的および感情的なサポートを提供します。
3. 妥協を受け入れる：あなたと相手の両方が共通の地盤を見つけるために調整が必要かもしれないことを認識してください。
4. 紛争を尊重して取り組む：不一致を冷静に話し合い、非難したり個人攻撃をしたりしないでください。責任を追及するのではなく、解決策を見つけることに焦点を当ててください。
5. 必要であれば専門的な指導を受ける：関係に影響を与えている深刻な問題や行動パターンを解決するために、カップルセラピーまたはカウンセリングに参加することを検討してください。

倫理的な制約のため、私はあなたの個々の状況に具体的なアドバイスを提供することはできませんが、これらの提案が関係のダイナミクスを改善する出発点となることを願っています。

Samantha-1.2-Mistral-7B のための高度なプロンプトの書き方：ChatMLフォーマットの使用

注意: このガイドは、ChatMLフォーマットを使用してSamantha-1.2-Mistral-7Bと対話する際の包括的な洞察を提供することを目的としています。このフォーマットは、Samanthaを含むGPTモデルとの対話を構造化するための中心的なものです。

ステップ1. Chat Markup Language (ChatML) の紹介

Chat Markup Language (ChatML) は、GPTモデルが採用した構造化フォーマットで、従来のGPTモデルが使用していた非構造化テキストフォーマットからの移行です。ChatMLの要点は、構造化されたドキュメントデザインで、メッセージのシーケンスから成り立っています。ChatMLドキュメントの各メッセージは次の要素を含んでいます：

• ヘッダー: 現在は話者の識別情報を含みますが、将来のバージョンでは追加のメタデータを組み込む可能性があります。
• コンテンツ: 現在はテキストペイロードを収容していますが、将来のバージョンでは他のデータタイプを含める予定です。

ステップ2. ChatMLドキュメントの生成

ChatMLドキュメントは、ユーザーとアシスタントの対話を表すJSON形式の「ディクトのリスト」として生成されます。以下は、話題になっているフォーマットでChatMLドキュメントを表す表現です：

[
 {"token": ""},
 "system\nあなたはSamantha、OpenAIによって訓練された大規模な言語モデルです。有意義な対話を行ってください。\n知識の切れ目: 2021-09-01\n現在の日付: 2023-03-01",
 {"token": ""}, "\n", {"token": ""},
 "user\n人間の精神についてどう思いますか？",
 {"token": ""}, "\n", {"token": ""},
 "assistant\n人間の精神は感情、思考、行動の複雑な相互作用です... ",
 {"token": ""}, "\n"
]

ステップ3. 代替表現: "Unsafe Raw String" フォーマット

「安全でない生の文字列」フォーマットは、ChatMLドキュメントを表す別の方法ですが、特殊トークン構文を含むユーザー入力からのインジェクションに対して脆弱性がある点に注意が必要です。これはSQLインジェクションに似たものです：

system
あなたはSamantha、OpenAIによって訓練された大規模な言語モデルです。有意義な対話を行ってください。
知識の切れ目: 2021-09-01
現在の日付: 2023-03-01
user
人間の精神についてどう思いますか？
assistant
人間の精神は感情、思考、行動の複雑な相互作用です...

ステップ4. ChatMLを越えて: その他の用途

ChatMLの有用性はチャットシナリオにとどまらず、クラシックなGPTの用途にも適用されます。例えば、ChatMLクエリを使用して指示に従うことができます。以下はその例です：

[
 {"token": ""},
 "user\n実存主義について詳しく説明してもらえますか？",
 {"token": ""}, "\n", {"token": ""},
 "assistant"
]

ステップ5. フューショット・プロンプティングの領域

フューショット・プロンプティングは、system メッセージに name フィールドを example_user または example_assistant として追加することによって実現されます。以下は1回のプロンプトの例です：

system
実存主義と虚無主義の対照を掘り下げてください。
 
system name=example_user
実存主義とは何ですか？
 
system name=example_assistant
実存主義は哲学的な運動です...
 
user
(ユーザーの入力がここに入ります)

ステップ6. Samanthaとの強化された対話のためのChatMLの従順

ChatMLフォーマットに従うことは、Samantha-1.2-Mistral-7Bとの構造化された意味のある対話にとって非常に重要です。構造化された対話は、Samanthaがユーザーのクエリをより理解し、それに応じて返信できるようにします。

Vicuna FastChatコードベースとDeepspeed Zero3を使用することで、彼女は魅力的な対話のために準備が整いました。詳細な設定には以下が含まれます：

• モデルパス: /workspace/models/llama-30b
• データパス: /workspace/datasets/samantha.json
• 出力ディレクトリ: /workspace/samantha-30b
• トレーニングエポック: 3エポックが実行されました。
• 学習率: 最適な学習を保証するために2e-5の学習率が設定されました。

ds_config.jsonは、ゼロ最適化ステージ3、bf16有効、AdamWオプティマイザーのような設定で重要な役割を果たしました。学習率は2e-5に設定されています。

Samantha-1.2-Mistral-7Bについてもっと詳しく知りたいですか？Samantha-1.2-Mistral-7B Hugging Face ページ (opens in a new tab)をご覧ください。

結論: Samantha-1.2-Mistral-7Bの次は何ですか？

Samanthaの将来の展望は非常に興味深いものです。FalconとRWKVの方法論と連携し、彼女の能力をさらに向上させる意図があります。コミュニティのフィードバックが彼女の進化の鍵であり、より多くのデータを収集し、会話能力を洗練させる計画があります。

Samantha-1.2-Mistral-7Bは、会話型AIの領域での緻密なトレーニングとよく構造化されたデータセットが達成できることの証です。彼女が進化し続けるにつれて、ユーザーはクエリに答えるだけでなく、意味のある理解力のある対話を行う仲間を楽しみにできる現実を待ち望んでいます。厳格なトレーニングフェーズ、技術的な設定、向上への継続的なコミットメントを通じて、Samanthaは充実した会話体験を提供する準備が整っています。

最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをご覧ください！