Phi-3: Microsofts kompaktes und leistungsstarkes Sprachmodell
- Name
- Jennie Rose
Published on
In der schnelllebigen Welt der künstlichen Intelligenz hat Microsoft mit der Einführung von Phi-3 einen bedeutenden Fortschritt gemacht - ein kompaktes, aber hochleistungsfähiges Sprachmodell. Trotz seiner vergleichsweise geringen Größe hat Phi-3 auf verschiedenen Benchmarks eine bemerkenswerte Leistung gezeigt und steht in Konkurrenz zu Modellen, die wesentlich größer sind. Dieser Artikel wird sich mit den Details von Phi-3 befassen, seine Leistung mit anderen prominenten Sprachmodellen vergleichen und eine Anleitung zur lokalen Ausführung von Phi-3 auf Ihrem Gerät bieten.
Was ist Phi-3?
Phi-3 ist eine Serie von Sprachmodellen, die von Microsoft entwickelt wurden. Die kleinste Variante, Phi-3-mini, besitzt nur 3,8 Milliarden Parameter. Das ist nur ein Bruchteil der Größe von anderen bekannten Modellen wie GPT-3.5, das etwa 175 Milliarden Parameter hat. Trotz seiner kompakten Größe hat Phi-3 dank der innovativen Schulungstechniken und der sorgfältigen Datensatzauswahl von Microsoft beeindruckende Ergebnisse auf verschiedenen Benchmarks erzielt.
Die Phi-3-Serie besteht derzeit aus drei Modellen:
- Phi-3-mini: 3,8 Milliarden Parameter
- Phi-3-small: 7 Milliarden Parameter
- Phi-3-medium: 14 Milliarden Parameter
Microsoft hat Andeutungen über die zukünftige Veröffentlichung größerer Phi-3-Modelle gemacht, aber schon die kleinste Variante hat bereits erhebliche Aufmerksamkeit für ihre Leistung erregt.
Benchmark-Leistung
Um die Leistung von Phi-3 zu bewerten, vergleichen wir seine Ergebnisse auf zwei weit verbreiteten Benchmarks: MMLU (Multitask Metric for Longform Understanding) und MT-bench (Machine Translation Benchmark).
| Modell | MMLU | MT-bench |
|---|---|---|
| Phi-3-mini (3,8B) | 69% | 8,38 |
| Phi-3-small (7B) | 75% | 8,7 |
| Phi-3-medium (14B) | 78% | 8,9 |
| Llama-3 (8B) | 66% | 8,6 |
| Mixtral 8x7B | 68% | 8,4 |
| GPT-3.5 | 71% | 8,4 |
Wie die Tabelle zeigt, schneiden die Phi-3-Modelle im Vergleich zu größeren Modellen wie Llama-3, Mixtral 8x7B und sogar GPT-3.5 bemerkenswert gut ab. Phi-3-mini mit nur 3,8 Milliarden Parametern erzielt ähnliche Ergebnisse wie Modelle, die mehrere Male so groß sind. Diese beeindruckende Leistung ist auf Microsofts fortschrittliche Schulungstechniken und die hochwertige Auswahl der Datensätze zurückzuführen.
Lokale Ausführung von Phi-3
Eine der spannendsten Eigenschaften von Phi-3 ist die Möglichkeit, es lokal auf einer Vielzahl von Geräten, einschließlich Smartphones und Laptops, auszuführen. Dies wird durch die kompakte Größe und effiziente Architektur des Modells ermöglicht. Die lokale Ausführung von Phi-3 bietet mehrere Vorteile, wie eine geringere Latenzzeit, verbesserten Datenschutz und die Möglichkeit, das Modell offline zu verwenden.
Um Phi-3 lokal auszuführen, können Sie das Ollama-Framework verwenden, das eine einfache und benutzerfreundliche Schnittstelle für die Interaktion mit dem Modell bietet. Hier ist eine schrittweise Anleitung, wie Sie loslegen können:
-
Installieren Sie Ollama, indem Sie den folgenden Befehl ausführen:
pip install ollama -
Laden Sie das gewünschte Phi-3-Modell aus dem Modell-Repository von Hugging Face herunter. Um beispielsweise Phi-3-mini herunterzuladen, führen Sie folgenden Befehl aus:
ollama download phi-3-mini -
Sobald das Modell heruntergeladen ist, können Sie mit dem folgenden Befehl eine interaktive Sitzung mit Phi-3 starten:
ollama run phi-3-mini -
Sie können nun mit dem Phi-3-Modell interagieren, indem Sie Eingabeaufforderungen eingeben und generierte Antworten erhalten.
Alternativ können Sie die ONNX Runtime-Bibliothek verwenden, um Phi-3-Modelle lokal auszuführen. ONNX Runtime ist eine effiziente Inferenz-Engine, die verschiedene Plattformen und Programmiersprachen unterstützt. Um ONNX Runtime mit Phi-3 zu verwenden, befolgen Sie diese Schritte:
-
Installieren Sie ONNX Runtime, indem Sie den folgenden Befehl ausführen:
pip install onnxruntime -
Laden Sie die ONNX-Version des gewünschten Phi-3-Modells aus dem Modell-Repository von Hugging Face herunter.
-
Laden Sie das Modell mit ONNX Runtime und generieren Sie Antworten basierend auf Ihren Eingabeaufforderungen.
Hier ist ein einfacher Python-Codeausschnitt, um Sie zum Einstieg zu bringen:
import onnxruntime as ort
session = ort.InferenceSession("path/to/phi-3-mini.onnx")
prompt = "What is the capital of France?"
input_ids = ... # Tokenisieren Sie die Eingabeaufforderung und wandeln Sie sie in Eingabe-IDs um
outputs = session.run(None, {"input_ids": input_ids})
generated_text = ... # Decodieren Sie die Ausgabe-IDs, um den generierten Text zu erhalten
print(generated_text)Fazit
Microsofts Phi-3-Sprachmodellserie stellt einen bedeutenden Meilenstein in der Entwicklung kompakter und effizienter KI-Modelle dar. Mit seiner beeindruckenden Leistung auf Benchmarks und der Möglichkeit, lokal auf verschiedenen Geräten ausgeführt zu werden, eröffnet Phi-3 neue Möglichkeiten für KI-Anwendungen in Bereichen wie mobiles Computing, Edge-Geräte und datenschutzsensible Szenarien.
Wenn sich das Gebiet der künstlichen Intelligenz weiterentwickelt, zeigen Modelle wie Phi-3, dass größer nicht immer besser ist. Durch den Fokus auf fortschrittliche Schulungstechniken, hochwertige Datensätze und effiziente Architekturen können Forscher leistungsstarke Sprachmodelle entwickeln, die mit der Leistung ihrer größeren Gegenstücke konkurrieren und gleichzeitig die Vorteile einer lokalen Ausführung bieten.
Mit der Veröffentlichung von Phi-3 hat Microsoft einen neuen Maßstab für kompakte Sprachmodelle gesetzt, und es wird interessant sein zu sehen, wie sich diese Technologie in naher Zukunft in realen Szenarien entwickelt und angewendet wird.
