Mistral 7B: Der Beginn einer neuen Ära des LLM

Name: Jennie Rose

Published on 10.11.2023

Eine tiefgehende Untersuchung von Mistral 7B, dem bahnbrechenden Large Language Model von Mistral AI. Erforschen Sie seine technische Raffinesse, Einrichtung und praktische Anwendungen.

Die KI-Landschaft ist Innovationen nicht fremd, aber hin und wieder taucht ein Wunder wie Mistral 7B auf und setzt neue Maßstäbe. Entwickelt von Mistral AI, geht es bei diesem LLM nicht nur um Größe, sondern auch um Effizienz, Genauigkeit und Vielseitigkeit.

Möchten Sie die neuesten LLM-Nachrichten erfahren? Werfen Sie einen Blick auf die aktuelle LLM-Rangliste!

Mistral 7B: Was ist das?

Die Veröffentlichung von Mistral 7B hat in den KI- und NLP-Gemeinschaften Begeisterung und Neugierde ausgelöst. Die Präsenz auf Plattformen wie Hugging Face und die umfangreiche Dokumentation von Mistral AI haben dazu beigetragen, dass es in verschiedenen Branchen angenommen wird.

Leistungskennzahlen

Bei LLMs ist die Leistung von größter Bedeutung. Mistral 7B hat seine Konkurrenten, einschließlich des renommierten Llama 2 13B, übertroffen und seine Wertigkeit bewiesen. Aber Zahlen kratzen nur an der Oberfläche. Die eigentliche Essenz von Mistral 7B liegt in seiner komplexen Architektur und seinen Funktionen.

Mistral 7B's Leistungskennzahlen, insbesondere seine Überlegenheit gegenüber Modellen wie LLaMA 1 34B beim Code, der Mathematik und dem Denken, haben es bei Entwicklern und Forschern beliebt gemacht. Seine Fähigkeit, die Leistung von CodeLlama 7B bei codebezogenen Aufgaben anzunähern, unterstreicht seine Fähigkeiten weiter.

Anpassungsfähigkeit und Vielseitigkeit von Mistral 7B

Eine herausragende Eigenschaft von Mistral 7B ist seine Anpassungsfähigkeit. Ob für Chatbots, Content-Generierung, Code-Vervollständigung oder Forschung, Mistral 7B hat seine Vielseitigkeit in einer Reihe von Anwendungen bewiesen.

Mistral 7B: Einrichtung und Bereitstellung

Für diejenigen, die die Leistung von Mistral 7B nutzen möchten, hier ist ein detaillierter Leitfaden:

1. Online-Erfahrung mit Mistral 7B:
Bevor Sie sich in die Einrichtung stürzen, machen Sie sich mit Mistral 7B über seine Online-Demo (opens in a new tab) vertraut.

2. Erwerb von Mistral 7B:
Das Modell kann hier über Torrent heruntergeladen (opens in a new tab) werden. Der Freigabecode lautet ab979f50d7d406ab8d0b07d09806c72c.

3. Ausführen von Mistral 7B mit Docker:
Für diejenigen mit einem hostfähigen GPU können Sie Mistral 7B mit Docker ausführen. Hier ist ein Beispielcode zum Ausführen des Modells mit Docker:

docker run --gpus all \
 -e HF_TOKEN=$HF_TOKEN -p 8000:8000 \
 ghcr.io/mistralai/harmattan/vllm-public:latest \
 --host 0.0.0.0 \
 --model mistralai/Mistral-7B-v0.1

Hinweis: Ersetzen Sie $HF_TOKEN durch Ihren Hugging Face-Benutzerzugriffstoken.

4. Direkte Bereitstellung mit vLLM:
Für diejenigen, die eine direkte Bereitstellung bevorzugen, unterstützt Mistral 7B vLLM auf hostfähigen GPUs mit Cuda 11.8. Hier ist eine Schritt-für-Schritt-Anleitung:

Installation:
Installieren Sie vLLM mit pip:
```
pip install vllm
```
Hugging Face Hub-Anmeldung:
Melden Sie sich beim Hugging Face Hub an:
```
huggingface-cli login
```

Starten des Servers:
Verwenden Sie den folgenden Befehl, um den Server zu starten:

python -u -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --model mistralai/Mistral-7B-v0.1

Mistral 7Bs architektonische Innovationen

Mistral 7B sticht nicht nur aufgrund seiner Leistung, sondern auch aufgrund seiner einzigartigen architektonischen Innovationen heraus. Lassen Sie uns diese im Detail erkunden:

Sliding Window Attention (SWA)

SWA ermöglicht es jeder Schicht des Modells, auf die vorherigen 4.096 versteckten Zustände zuzugreifen. Diese Mechanik bietet einen linearen Berechnungsaufwand, der proportional zur Länge der Gleitfenstersequenz ist. Der Vorteil zeigt sich bei Echtzeitanwendungen, bei denen schnelle Reaktionszeiten unerlässlich sind.

Grouped-query Attention (GQA)

GQA wurde entwickelt, um die Inferenz zu beschleunigen und sicherzustellen, dass Mistral 7B schnell reagieren kann. Damit eignet er sich für Anwendungen, die Echtzeitinteraktionen erfordern.

Einrichtung und Bereitstellung von Mistral 7B

Mistral 7B bietet Flexibilität bei der Bereitstellung. Ob Sie es auf Ihrem lokalen Computer ausführen oder auf einer Cloud-Plattform bereitstellen möchten, hier finden Sie einen umfassenden Leitfaden:

Ausführen von Mistral 7B mit Docker

Für diejenigen mit einem hostfähigen GPU können Sie Mistral 7B mit Docker ausführen. Hier ist ein Schritt-für-Schritt-Leitfaden:

Das Docker-Image ziehen:
Ziehen Sie zuerst das Docker-Image, das vLLM, ein schneller Python-Inferenzserver, und alles, was zum Ausführen von Mistral 7B benötigt wird, zusammenfasst.
```
docker pull ghcr.io/mistralai/harmattan/vllm-public:latest
```
Das Modell mit Docker ausführen:
Sobald das Image gezogen ist, können Sie das Modell mit folgendem Befehl ausführen:
```
docker run --gpus all \
-e HF_TOKEN=$HF_TOKEN -p 8000:8000 \
ghcr.io/mistralai/harmattan/vllm-public:latest \
--host 0.0.0.0 \
--model mistralai/Mistral-7B-v0.1
```
Hinweis: Ersetzen Sie $HF_TOKEN durch Ihren Hugging Face-Benutzerzugriffstoken.

Direkte Bereitstellung mit vLLM

Für die direkte Bereitstellung unterstützt Mistral 7B vLLM auf hostfähigen GPUs mit Cuda 11.8. Hier finden Sie eine Anleitung zur Einrichtung:

Installation:
Installieren Sie vLLM mit pip:
```
pip install vllm
```
Anmelden beim Hugging Face Hub:
Bevor Sie das Modell verwenden können, müssen Sie sich beim Hugging Face Hub anmelden:
```
huggingface-cli login
```

Starten des Servers:
Mit den Voraussetzungen können Sie den Server mit folgendem Befehl starten:

python -u -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --model mistralai/Mistral-7B-v0.1

Ausführen von Mistral 7B lokal

Sobald Mistral 7B eingerichtet und in Betrieb ist, können Sie damit interagieren. Detaillierte Anweisungen zur Verwendung des Modells finden Sie auf der Seite Interagieren mit dem Modell (opens in a new tab). Diese Anleitung bietet Einblicke in das Senden von Anfragen an das Modell, das Verständnis der Antworten und das Feintuning des Modells für spezifische Aufgaben.

Einrichten der Umgebung

Bevor Sie mit Mistral 7B interagieren können, müssen Sie die Umgebung einrichten:

Installieren Sie das OpenAI-Paket für Python:
Dieses Paket erleichtert die Interaktionen mit dem Modell.
```
pip install openai
```

Konfigurieren Sie das OpenAI-Modul:
Richten Sie das Modul auf den Server ein, auf dem Mistral 7B bereitgestellt ist.

import openai
openai.api_base = "http://your-server-ip-or-hostname:8000/v1" 
openai.api_key = "none"  # Der vLLM-Server ist nicht authentifiziert

Generieren von Textergänzungen mit Mistral 7B

Mistral 7B kann gegebene Eingaben vervollständigen und zusammenhängenden und kontextuell relevanten Text liefern. So lösen Sie eine Vervollständigung aus:

Beispielcode für die Textvervollständigung:

completion = openai.Completion.create(
  model="mistralai/Mistral-7B-Instruct-v0.1", 
  prompt="Der Mistral ist",
  temperature=0.7,
  max_tokens=200, 
  stop="."
)
print(completion.to_dict_recursive())

Dieser Code gibt eine Vervollständigung wie folgt aus:

{
  'id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
  'object': 'text_completion',
  'created': 1695651536,
  'model': 'mistralai/Mistral-7B-Instruct-v0.1',
  'choices': [{
    'index': 0,
    'text': ' ein kalter, trockener, nordöstlicher Wind, der über das Mittelmeer weht',
    'logprobs': None,
    'finish_reason': 'stop'
  }],
  'usage': {'prompt_tokens': 5, 'total_tokens': 23, 'completion_tokens': 18}
}

Interaktive Chats führen

Mistral 7B kann auch für interaktive Chats verwendet werden und konversationelle Antworten auf Benutzeranfragen bieten.

Beispielcode für die Chat-Interaktion:

messages = [{"role": "user", "content": "Wie lautet der Bash-Befehl, um alle Dateien in einem Ordner aufzulisten und nach dem letzten Änderungsdatum zu sortieren?"}]
chat_completion = openai.ChatCompletion.create(
  model="mistralai/Mistral-7B-Instruct-v0.1",
  temperature=1,
  max_tokens=1024,
  messages=messages
)

Dieser Code startet einen Chat mit dem Modell, und das Modell liefert eine relevante Antwort auf die Anfrage des Benutzers.

Bereitstellen von Mistral 7B mit SkyPilot

SkyPilot bietet eine nahtlose Erfahrung für die Bereitstellung von LLMs wie Mistral 7B auf verschiedenen Cloud-Plattformen. Es verspricht maximale Kosteneinsparungen, optimale GPU-Verfügbarkeit und verwaltet die Ausführung. Hier finden Sie eine ausführliche Anleitung zur Bereitstellung von Mistral 7B mit SkyPilot:

SkyPilot-Konfiguration

Erstellung der Konfigurationsdatei:
Beginnen Sie damit, eine Konfigurationsdatei zu erstellen, die SkyPilot die Bereitstellungsdetails Ihres Inferenzservers mitteilt. Dabei wird der von Mistral AI bereitgestellte vorinstallierte Docker-Container verwendet. Die Konfiguration sollte etwa so aussehen:

envs:
  MODEL_NAME: mistralai/Mistral-7B-v0.1
resources: 
  cloud: aws
  accelerators: V100:1
  ports: 
  - 8000
run: |
  docker run --gpus all -p 8000:8000 ghcr.io/mistralai/harmattan/vllm-public:latest \\
  --host 0.0.0.0 \\
  --model $MODEL_NAME \\
  --tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE

Einrichtung von Umgebungsvariablen:
Sie müssen bestimmte Umgebungsvariablen festlegen, damit SkyPilot sowohl den Inferenzserver-Container als auch die Modellgewichte abrufen kann.
Starten des Inferenzservers:
Mit den vorhandenen Umgebungsvariablen können Sie den Inferenzserver mit folgendem Befehl starten:
```
sky launch mistral-7b-v0.1.yaml --region us-east-1
```
ACHTUNG: Durch die Bereitstellung auf diese Weise wird das Modell weltweit zugänglich gemacht. Es ist wichtig, es abzusichern. Sie können es entweder ausschließlich in Ihrem privaten Netzwerk freigeben (indem Sie die --host Docker-Option ändern), einen Lastenausgleich mit einer Authentifizierungsmethode davor hinzufügen oder Ihre Instanznetzwerkkonfiguration entsprechend einrichten.

Nutzungskontingente und Cloud-Anbieter

Es ist wichtig zu beachten, dass viele Cloud-Anbieter explizite Zugriffsanfragen für leistungsstarke GPU-Instanzen erfordern. Unter SkyPilot's Leitfaden (opens in a new tab) finden Sie weitere Informationen dazu.

Fazit: Zukünftige Roadmap für Mistral AI

Mistral 7B ist zwar ein bedeutender Meilenstein, aber die Reise von Mistral AI endet hier nicht. Das Engagement des Unternehmens, die Grenzen von NLP und KI zu erweitern, sorgt dafür, dass wir in Zukunft weitere Innovationen, Verbesserungen und bahnbrechende Modelle erwarten können.

Häufig gestellte Fragen (FAQs)

Was ist Mistral 7B?
Mistral 7B ist ein hochmodernes Large Language Model (LLM), das von Mistral AI entwickelt wurde. Es wurde entwickelt, um viele bestehende Modelle in Aufgaben im Zusammenhang mit Code, Mathematik und Begründung zu übertreffen.
Wie kann ich Mistral 7B auf meinem lokalen Rechner oder in der Cloud bereitstellen?
Mistral 7B bietet flexible Bereitstellungsoptionen. Sie können es lokal mit Docker ausführen oder es auf Cloud-Plattformen wie AWS, GCP oder Azure mit SkyPilot bereitstellen.
Ist Mistral 7B Open Source?
Ja, Mistral 7B steht unter der Apache 2.0-Lizenz und ist damit Open Source und für die breitere Community zugänglich.
Wie schneidet Mistral 7B im Vergleich zu anderen LLMs in Bezug auf die Leistung ab?
Mistral 7B hat in Aufgaben wie CodeLlama 7B eine überlegene Leistung im Vergleich zu Modellen wie LLaMA 1 34B gezeigt, insbesondere in codebezogenen Aufgaben.

Möchten Sie die neuesten Nachrichten zu LLMs erfahren? Schauen Sie sich das aktuelle LLM Leaderboard an!

MiniGPT-4: Open Source Vision Language Alternative für GPT-4 OLLAMA: Wie man lokale Sprachmodelle wie ein Profi ausführt