LangSmith: Die beste Methode, um LLMs und KI-Anwendungen zu testen
Published on
Wenn Sie sich in der Welt der Language Learning Models (LLMs) befinden, haben Sie wahrscheinlich schon von LangSmith gehört. Aber wissen Sie, wie es Ihre LLM-Anwendungen von gut zu großartig transformieren kann? Dieser Artikel ist Ihr umfassender Leitfaden, um LangSmith zu verstehen, eine Plattform, die eine Vielzahl von Funktionen für das Debuggen, Testen, Evaluieren und Überwachen von LLM-Anwendungen bietet.
Egal, ob Sie ein erfahrener Entwickler oder ein Anfänger auf dem Gebiet der LLMs sind, LangSmith hat für jeden etwas zu bieten. Von seiner nahtlosen Integration mit LangChain bis hin zu seiner robusten Rezeptsammlung mit realen Beispielen ist LangSmith ein Game Changer. Tauchen wir ein!
Was ist LangSmith?
LangSmith ist eine innovative Plattform, die Ihre LLM-Anwendungen auf ein Qualitätsniveau für die Produktion anhebt. Aber was bedeutet das? Einfach ausgedrückt ist LangSmith Ihr Werkzeugkasten zum Erstellen, Testen und Bereitstellen intelligenter Agenten und Chains basierend auf jedem LLM-Framework. Es wird von LangChain entwickelt, demselben Unternehmen, das auch das Open Source LangChain Framework entwickelt hat, und integriert sich nahtlos mit ihm.
Schlüsselfunktionen von LangSmith
-
Debugging und Testen: LangSmith geht es nicht nur um das Erstellen, sondern darum, es richtig zu machen. Die Plattform bietet interaktive Tutorials und eine Schnellstartanleitung, um Sie in Gang zu bringen. Egal, ob Sie in Python, TypeScript oder einer anderen Sprache codieren, LangSmith hat Sie abgedeckt.
-
API und Umgebungseinrichtung: Bevor Sie mit dem Erstellen beginnen, müssen Sie Ihre Umgebung einrichten. LangSmith erleichtert dies mit seinem API-Schlüsselzugriff und den einfachen Schritten zur Konfiguration der Umgebung. Sie können beispielsweise die neueste Version von LangChain für Ihre Zielumgebung mit einfachen Befehlen wie
pip install -U langchain
installieren. -
Verfolgungsfähigkeiten: Eine der herausragenden Funktionen von LangSmith ist seine Fähigkeit, Code zu verfolgen. Dies ist entscheidend für das Debuggen und Verbessern Ihrer Anwendungen. Sie können die Namen der Ausführungen anpassen, verschachtelte Aufrufe verfolgen und vieles mehr.
Warum LangSmith wählen?
-
Benutzerfreundlichkeit: LangSmith wurde mit Benutzerfreundlichkeit im Hinterkopf entwickelt. Die Plattform bietet eine Reihe von Tutorials und Dokumentationen, um Ihnen den Einstieg zu erleichtern.
-
Vielseitigkeit: Egal, ob Sie an einem kleinen Projekt oder einer groß angelegten Anwendung arbeiten, LangSmith ist vielseitig genug, um Ihre Bedürfnisse zu erfüllen.
-
Community-Support: LangSmith verfügt über eine starke Community von Entwicklern und Experten, die Ihnen jederzeit zur Seite stehen. Sie können sich in den Community-Foren anmelden oder sogar zur Rezeptsammlung mit Ihren eigenen Beispielen beitragen.
Jetzt sollten Sie ein gutes Verständnis dafür haben, was LangSmith ist und warum es eine wertvolle Ressource für jeden ist, der mit LLMs arbeitet. Im nächsten Abschnitt werden wir genauer darauf eingehen, wie Sie LangSmith einrichten und das Beste aus seinen Funktionen herausholen können.
Einrichten von LangSmith
Die Einrichtung von LangSmith ist dank seiner benutzerfreundlichen Oberfläche und der gut dokumentierten Schritte ein Kinderspiel. Bevor Sie jedoch starten, benötigen Sie einen API-Schlüssel für den Zugriff. Keine Sorge, das Beschaffen ist so einfach wie Kuchen.
Schritte zum Erhalten Ihres API-Schlüssels
-
Erstellen Sie ein LangSmith-Konto: Gehen Sie zur LangSmith-Website und melden Sie sich für ein Konto an. Sie können verschiedene unterstützte Anmeldeverfahren verwenden.
-
Navigieren Sie zu den Einstellungen: Sobald Ihr Konto eingerichtet ist, gehen Sie zur Einstellungsseite. Hier finden Sie die Option zum Erstellen eines API-Schlüssels.
-
Generieren Sie den API-Schlüssel: Klicken Sie auf die Schaltfläche "API-Schlüssel generieren" und voila! Sie haben Ihren API-Schlüssel.
Konfigurieren Ihrer Umgebung
Nachdem Sie Ihren API-Schlüssel erhalten haben, ist der nächste Schritt die Konfiguration Ihrer Laufzeitumgebung. LangSmith ermöglicht dies mithilfe einfacher Shell-Befehle. So geht's:
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_ENDPOINT=https://api.smith.langchain.com
export LANGCHAIN_API_KEY=<your-api-key>
Ersetzen Sie <your-api-key>
durch den zuvor generierten API-Schlüssel. Diese Befehle richten Ihre Umgebungsvariablen ein und erleichtern die Interaktion mit LangSmith.
LangSmith Cookbook: Praktische LangSmith-Beispiele
Das LangSmith Cookbook ist nicht nur eine Sammlung von Code-Schnipseln. Es ist eine Fundgrube von praktischen Beispielen, die Sie bei Ihren Projekten inspirieren und unterstützen sollen. Egal, ob Sie Anfänger oder Experte auf dem Gebiet der Language Learning Models (LLMs) sind, das Cookbook bietet eine Fülle praktischer Einblicke in gängige Muster und reale Anwendungsfälle. Tauchen wir also tiefer ein, was das LangSmith Cookbook zu bieten hat.
Was ist das LangSmith Cookbook?
Das LangSmith Cookbook ist ein Repository, das als praktischer Leitfaden zum Meistern von LangSmith dient. Es geht über die in der Standarddokumentation behandelten Grundlagen hinaus und widmet sich gängigen Mustern und realen Szenarien. Diese Rezepte ermöglichen es Ihnen, Ihre LLM-Anwendungen zu debuggen, zu bewerten, zu testen und kontinuierlich zu verbessern.
Ihre Meinung ist wichtig
Das Cookbook ist eine communitygestützte Ressource. Wenn Sie Erkenntnisse teilen möchten oder der Meinung sind, dass ein bestimmter Anwendungsfall fehlt, wird Ihnen empfohlen, ein GitHub-Issue zu erstellen oder das Entwicklungsteam von LangChain zu kontaktieren. Ihr Fachwissen prägt diese Community und macht das Cookbook zu einer dynamischen und stets weiterentwickelnden Ressource.
Schlüsselbeispiele aus dem Cookbook
Verfolgen Ihres Codes
-
Verfolgung ohne LangChain (opens in a new tab): Erfahren Sie, wie Sie Anwendungen unabhängig von LangChain mit dem
@traceable
-Decorator des Python SDK verfolgen. -
REST-API (opens in a new tab): Machen Sie sich mit den REST-API-Funktionen zum Protokollieren von LLM- und Chat-Modell-Ausführungen vertraut und verstehen Sie verschachtelte Ausführungen.
-
Anpassen von Laufnamen (opens in a new tab): Verbessern Sie die Klarheit der Benutzeroberfläche, indem Sie spezifische Namen den LangSmith-Chain-Läufen zuweisen. Dies umfasst Beispiele für Chains, Lambda-Funktionen und Agents.
-
Tracing von verschachtelten Aufrufen in Tools (opens in a new tab): Erfahren Sie, wie Sie alle verschachtelten Tool-Unteraufrufe in einer einzigen Trace einbeziehen können.
-
Anzeige von Trace-Links (opens in a new tab): Beschleunigen Sie Ihre Entwicklung, indem Sie Trace-Links zu Ihrer Anwendung hinzufügen. Dadurch können Sie schnell den Ausführungsfluss sehen, Feedback zu einem Lauf hinzufügen oder den Lauf zu einem Datensatz hinzufügen.
LangChain Hub
-
RetrievalQA Chain (opens in a new tab): Verwenden Sie Beispiel-Prompts aus dem Hub in einer RAG-Pipeline.
-
Versionsverwaltung von Prompts (opens in a new tab): Stellen Sie die Stabilität der Bereitstellung sicher, indem Sie spezifische Prompt-Versionen auswählen.
-
Runnable PromptTemplate (opens in a new tab): Speichern Sie Prompts aus dem Playground im Hub und integrieren Sie sie in ausführbare Chains.
Testing & Evaluation
-
Richtigkeit des Q&A-Systems (opens in a new tab): Bewerten Sie Ihre retrieval-augmentierte Q&A-Pipeline end-to-end anhand eines Datensatzes.
-
Auswertung von Q&A-Systemen mit dynamischen Daten (opens in a new tab): Verwenden Sie Evaluatoren, die Labels dereferenzieren, um mit Daten umzugehen, die sich im Laufe der Zeit ändern.
-
RAG-Auswertung mit festen Quellen (opens in a new tab): Bewerten Sie die Antwortkomponente einer RAG-Pipeline, indem Sie abgerufene Dokumente im Datensatz bereitstellen.
-
Vergleich von Auswertungen (opens in a new tab): Verwenden Sie beschriftete Präferenzwertungen, um Systemversionen zu vergleichen und die optimalsten Ausgaben zu bestimmen.
-
LangSmith in Pytest (opens in a new tab): Benchmarken Sie Ihre Chain in pytest und stellen Sie sicher, dass aggregierte Metriken den Qualitätsstandard erfüllen.
-
Unit Testing mit Pytest (opens in a new tab): Schreiben Sie einzelne Unit-Tests und loggen Sie Assertions als Feedback.
-
Bewertung vorhandener Läufe (opens in a new tab): Fügen Sie vorhandenen Lauftraces KI-gestütztes Feedback und Bewertungsmetriken hinzu.
-
Benennen von Testprojekten (opens in a new tab): Benennen Sie Ihre Tests manuell mit
run_on_dataset(..., project_name='my-project-name')
. -
So laden Sie Feedback und Beispiele herunter (opens in a new tab): Exportieren Sie Vorhersagen, Auswertungsergebnisse und andere Informationen programmatisch, um sie Ihrem Bericht hinzuzufügen.
TypeScript / JavaScript Testing Examples
-
Evaluieren von JS Chains in Python (opens in a new tab): Evaluieren Sie JS Chains mit benutzerdefinierten Python-Evaluatoren.
-
Assertions als Feedback loggen (opens in a new tab): Konvertieren Sie CI-Test-Assertions in LangSmith-Feedback.
Verwendung von Feedback
-
Streamlit Chat App (opens in a new tab): Eine minimale Chat-App, die Benutzerfeedback erfasst und Traces der Chat-Anwendung teilt.
-
Next.js Chat App (opens in a new tab): Eine Chat-App, jedoch in der Next.js-Version.
-
Echtzeit-Algorithmisches Feedback (opens in a new tab): Generieren Sie für jeden Lauf Metriken für das Feedback mithilfe eines Async-Callbacks.
-
Evaluierung eines RAG Chat Bot in Echtzeit (opens in a new tab): Überprüfen Sie automatisch, ob Ihre RAG Chat-Bot-Antworten Halluzinationen enthalten, indem Sie sie mit den abgerufenen Dokumenten vergleichen.
Exportieren von Daten für Feinabstimmung
-
OpenAI Feinabstimmung (opens in a new tab): Listen Sie LLM-Läufe auf und konvertieren Sie sie in das Feinabstimmungsformat von OpenAI.
-
Lilac Datasetkuratierung (opens in a new tab): Kuratieren Sie Ihre LangSmith-Datensätze weiter mithilfe von Lilac, um nahezu doppelte Daten zu erkennen und nach PII zu suchen.
Explorative Datenanalyse
-
Exportieren von LLM-Läufen und Feedback (opens in a new tab): Extrahieren und interpretieren Sie LangSmith LLM Run-Daten für verschiedene analytische Plattformen.
-
Lilac (opens in a new tab): Bereichern Sie Ihre Datensätze mithilfe des Open Source Analytics-Tools Lilac, um Ihre Daten besser zu kennzeichnen und zu organisieren.
Durch das Erkunden dieser Beispiele werden Sie ein umfassendes Verständnis der Fähigkeiten von LangSmith erlangen, was es Ihnen ermöglicht, Ihre LLM-Anwendungen auf die nächste Stufe zu bringen. Also, worauf warten Sie noch? Tauchen Sie ein in das LangSmith Cookbook und zaubern Sie etwas Code-Magie!
Fazit
LangSmith ist nicht nur ein weiteres Tool; es ist eine umfassende Plattform, die Ihre LLM-Anwendungen auf die nächste Stufe bringen kann. Von seinen robusten Tracing-Fähigkeiten bis hin zu seiner nahtlosen Integration mit dem LangChain Hub bietet LangSmith eine Reihe von Funktionen, die entwickelt wurden, um Ihr Leben einfacher zu machen. Und vergessen wir nicht das LangSmith Cookbook, eine wahre Schatzkiste mit praxisnahen Beispielen und praxisorientierten Code-Snippets. Egal, ob Sie gerade erst anfangen oder Ihre vorhandenen Anwendungen optimieren möchten, LangSmith hat Sie abgedeckt.
FAQs
Was macht LangSmith?
LangSmith ist eine Plattform, die entwickelt wurde, um Ihnen beim Erstellen, Testen, Auswerten und Überwachen von LLM-Anwendungen zu helfen. Es bietet eine Reihe von Funktionen wie Tracing, API-Zugriff und ein Kochbuch mit realen Beispielen.
Was ist der Unterschied zwischen LangSmith und LangChain?
Während LangSmith sich auf den Aufbau und das Management von LLM-Anwendungen konzentriert, dient LangChain als Framework zur Entwicklung von Sprachmodellen. LangSmith integriert sich nahtlos mit LangChain und bietet eine einheitliche Plattform für alle Ihre LLM-Anforderungen.
Wie erhalte ich Zugang zu LangSmith?
Um Zugang zu LangSmith zu erhalten, müssen Sie sich auf ihrer Website registrieren. Sobald Sie registriert sind, können Sie einen API-Schlüssel generieren, der es Ihnen ermöglicht, mit der Plattform zu interagieren.