Miqu-1-70B: Das geleakte Sprachmodell, das die Grenzen von Open-Source-KI verschiebt

Ende Januar 2024 versetzte die KI-Community die plötzliche Erscheinung eines neuen großen Sprachmodells namens "Miqu-1-70B" in Aufruhr. Hochgeladen auf die Open-Source-Plattform HuggingFace von einem Benutzer namens "Miqu Dev", erregte das Modell schnell Aufmerksamkeit durch seine beeindruckende Leistung bei verschiedenen Benchmarks, die mit Branchengrößen wie GPT-4 und GPT-3.5 konkurrierte. Mit zunehmender Spekulation, dass Miqu-1-70B eine geleakte Version des unveröffentlichten Modells von Mistral AI war, wurden die Auswirkungen auf die Zukunft der Open-Source-KI immer deutlicher.

Name

Jennie Rose

Published on 30.4.2024

Möchten Sie die neuesten Nachrichten über LLM erfahren? Schauen Sie sich das neueste LLM-Ranking an!

Das rund um die KI-Welt bekannte Leck

Am 28. Januar 2024 lud "Miqu Dev" eine Sammlung von Dateien auf HuggingFace hoch und enthüllte das Miqu-1-70B-Modell. Gleichzeitig veröffentlichte ein anonymer Benutzer, möglicherweise "Miqu Dev" selbst, einen Link zu den Dateien auf 4chan, was ein weitreichendes Interesse und Diskussionen in der KI-Community entfachte.

Es wurden schnell Verdächtigungen laut, dass Miqu-1-70B eine quantisierte Version des unveröffentlichten Modells "Mistral Medium" von Mistral AI war, aufgrund der Ähnlichkeiten im Format der Eingabeprompt und im Interaktionsstil. Diese Verdächtigungen wurden von Mistral-CEO Arthur Mensch bestätigt, der zugab, dass eine ältere quantisierte Version ihres Modells von einem Mitarbeiter geleakt wurde.

Technische Spezifikationen und Architektur

Unter der Haube handelt es sich bei Miqu-1-70B um ein 70 Milliarden Parameter Modell, basierend auf "Meta's Llama 2" Architektur. Es wurde quantisiert, um mit weniger als 24GB VRAM zu laufen, was es für Benutzer ohne High-End-Hardware zugänglicher macht. Das Modell verfügt über einen Theta-Wert von 1.000.000 und ein Kontextfenster von maximal 32K, was es von den Standardmodellen Llama 2 und CodeLlama abhebt.

Benchmarks und Vergleiche: Miqu-1-70B behauptet sich

Trotz eines geleakten und quantisierten Modells hat Miqu-1-70B eine bemerkenswerte Leistung in verschiedenen Benchmarks gezeigt und sich den Fähigkeiten führender Modelle wie GPT-4 angenähert.

Bei einem Test mit Mehrfachauswahlfragen hat Miqu-1-70B 17 von 18 Fragen korrekt beantwortet und damit nur einen Punkt weniger als GPT-4 erreicht. Es erzielte auch eine beeindruckende Punktzahl von 83,5 beim EQ-Bench und kam damit der emotionalen Intelligenz von GPT-4 nahe.

In Bezug auf die Perplexität ist Miqu-1-70B vergleichbar mit den feinabgestimmten Llama 2 70B-Modellen und erzielt bei einer Kontextlänge von 512 eine Wertung von weniger als 4. Dies übertrifft das abgeschwächte CodeLlama 70B-Modell, das bei gleicher Kontextlänge eine Perplexität von etwa 5,5 aufweist.

Obwohl umfassende Benchmark-Daten für alle Modelle nicht verfügbar sind, lässt die Leistung von Miqu-1-70B darauf schließen, dass es mit führenden proprietären Modellen wie GPT-4 und GPT-3.5 sowie Mistral's eigenem Mixtral-8x7B-Instruct-Modell konkurrieren kann.

Miqu-1-70B lokal ausführen: Eine Schritt-für-Schritt-Anleitung

Für diejenigen, die gerne mit Miqu-1-70B experimentieren möchten, ist es möglich, das Modell lokal auszuführen, indem man die "Transformers"-Bibliothek verwendet, um Miqu-1-70B in Python auszuführen:

from transformers import LlamaForCausalLM, LlamaTokenizer
 
tokenizer = LlamaTokenizer.from_pretrained("NousResearch/Llama-2-7b-hf")  
input_ids = tokenizer("[INST] eloquent high camp prose about a cute catgirl [/INST]", return_tensors='pt').input_ids.cuda()
 
model = LlamaForCausalLM.from_pretrained("152334H/miqu-1-70b-sf", device_map='auto')
 
outputs = model.generate(input_ids, use_cache=False, max_new_tokens=200)
print(tokenizer.decode(outputs))

Implikationen und zukünftige Perspektiven

Das Leck von Miqu-1-70B hat bedeutende Auswirkungen auf die Zukunft der Open-Source-KI-Entwicklung. Es zeigt den schnellen Fortschritt bei der Schaffung leistungsstarker, zugänglicher Modelle, die mit der Leistung proprietärer Systeme wie GPT-4 konkurrieren können.

Die Reaktion von Mistral-CEO Arthur Mensch auf das Leck deutet auf einen potenziellen Wandel hin, hin zu einem kooperativeren Umgang mit solchen Vorfällen. Anstatt rechtliche Schritte einzuleiten, bestätigte Mensch das Leck und zeigte sich begeistert vom Engagement der Community in Bezug auf das Modell.

Während wir auf die nächsten offiziellen Veröffentlichungen von Mistral warten, die voraussichtlich die Fähigkeiten von Miqu-1-70B übertreffen werden, ist die KI-Community gespannt. Der Erfolg von Miqu-1-70B hat einen neuen Maßstab für Open-Source-Modelle gesetzt und Diskussionen über das Potenzial für neue Paradigmen in der KI-Entwicklung und -Zusammenarbeit entfacht.

Fazit

Das Aufkommen von Miqu-1-70B hat die KI-Community erschüttert und zeigt das immense Potenzial von Open-Source-Modellen, um mit Branchenführern zu konkurrieren. Seine beeindruckende Leistung bei Benchmarks und die Möglichkeit der lokalen Ausführung haben es zu einem Thema von großem Interesse für Forscher und Enthusiasten gemacht. Da wir die rasante Entwicklung der KI-Technologie miterleben, erinnert uns der Miqu-1-70B-Leak an die Bedeutung von Innovation, Zusammenarbeit und der Stärke der Open-Source-Community bei der Förderung des Fortschritts. Mit Modellen wie Miqu-1-70B, die die Grenzen des Möglichen erweitern, können wir in naher Zukunft noch bahnbrechendere Entwicklungen erwarten.

Möchten Sie die neuesten Nachrichten über LLM erfahren? Schauen Sie sich das aktuelle LLM-Ranking an!