LangServe: Tutorial zum einfachen Bereitstellen von LangChain

Name

Lynn Mikami

Published on 30.4.2024

LangServe ist nicht nur ein weiteres Werkzeug in der LangChain-Ecosystem, sondern ein Game Changer. Wenn Sie sich bisher mit den Komplexitäten der Bereitstellung von LangChain-Runnables und Chains herumgeschlagen haben, ist LangServe der Zauberstab, auf den Sie gewartet haben. Dieser Artikel soll Ihr ultimativer Leitfaden sein und sich darauf konzentrieren, wie Sie LangServe für eine nahtlose LangChain-Bereitstellung verwenden können.

Die Bedeutung von LangServe kann nicht überschätzt werden. Es ist die Brücke, die Ihre LangChain-Projekte von der Entwicklungsphase in reale Anwendungen überführt. Ob erfahrener Entwickler oder Neuling im LangChain-Universum, die Beherrschung von LangServe ist entscheidend. Tauchen wir also ein.

Was ist LangServe und warum sollten Sie sich darum kümmern

Was ist LangServe?

LangServe ist ein Python-Paket, das die Bereitstellung von LangChain so einfach wie Butter macht. Es ermöglicht Ihnen, jedes LangChain-Runnable oder jede Chain als REST-API bereitzustellen und Ihre LangChain-Projekte effektiv in produktionsreife Anwendungen zu verwandeln.

• Automatische Schemainferenz: Keine manuelle Arbeit mehr zur Definition von Eingabe- und Ausgabeschemata. LangServe erledigt das für Sie.
• API-Endpunkte: Es wird mit integrierten API-Endpunkten wie /invoke, /batch und /stream geliefert, die mehrere Anfragen gleichzeitig verarbeiten können.
• Monitoring: Mit integriertem LangSmith-Tracing können Sie Ihre Bereitstellungen in Echtzeit überwachen.

Warum sollten Sie sich darum kümmern?

Wenn Sie sich im LangChain-Ecosystem befinden, ist LangServe aus mehreren Gründen unverzichtbar:

1. Erleichtert die Bereitstellung: LangServe beseitigt die Notwendigkeit komplexer Konfigurationen und ermöglicht es Ihnen, sich auf Ihre Kernlogik zu konzentrieren.
2. Skalierbarkeit: Es ist darauf ausgelegt, skalierbar zu sein, das bedeutet, dass sich LangServe mit Ihrem LangChain-Projekt weiterentwickelt, wenn es wächst.
3. Zeitersparnis: Mit Funktionen wie automatischer Schemainferenz und effizienten API-Endpunkten spart Ihnen LangServe eine Menge Zeit und beschleunigt die Markteinführung Ihres Projekts.

Im Grunde genommen ist LangServe nicht nur ein Werkzeug, sondern Ihr Bereitstellungspartner. Es nimmt Ihnen das Rätselraten bei LangChain-Bereitstellungen ab und ermöglicht es Ihnen, sich auf das zu konzentrieren, was Sie am besten können: erstaunliche LangChain-Projekte zu erstellen.

Hauptfunktionen von LangServe bei der LangChain-Bereitstellung

LangServe ist mit Funktionen ausgestattet, die es zur Lösung für die LangChain-Bereitstellung machen. Hier ist eine Übersicht über seine Hauptfunktionen:

• Automatische Eingabe- und Ausgabeschemainferenz: LangServe ermittelt automatisch die Eingabe- und Ausgabeschemata aus Ihrem LangChain-Objekt. Dadurch entfällt die Notwendigkeit manueller Schemadefinitionen und Ihr Leben wird um einiges einfacher.

• Effiziente API-Endpunkte: LangServe bietet effiziente API-Endpunkte wie /invoke, /batch und /stream. Diese Endpunkte sind darauf ausgelegt, mehrere gleichzeitige Anfragen zu verarbeiten, so dass Ihre LangChain-Anwendung mehrere Benutzer gleichzeitig bedienen kann, ohne ins Schwitzen zu geraten.

• Integrierte Überwachung mit LangSmith: Eine der herausragenden Funktionen von LangServe ist das integrierte Tracing für LangSmith. Dadurch können Sie Ihre LangChain-Bereitstellungen in Echtzeit überwachen und wertvolle Einblicke in die Leistung und Gesundheit Ihrer Anwendung erhalten.

Jede dieser Funktionen wurde entwickelt, um den Prozess der Bereitstellung Ihrer LangChain-Projekte zu vereinfachen und zu optimieren. Egal, ob Sie einen einfachen Chatbot oder ein komplexes Datenanalysetool bereitstellen, LangServe hat Sie abgedeckt.

Einrichten von LangServe für die LangChain-Bereitstellung: Eine Schritt-für-Schritt-Anleitung

Voraussetzungen für die LangServe-Einrichtung

Bevor Sie mit der LangServe-Einrichtung beginnen, stellen Sie sicher, dass Sie die richtige Umgebung haben. Hier ist, was Sie benötigen:

• Python 3.8 oder höher: LangServe ist ein Python-Paket, daher benötigen Sie Python, das auf Ihrem System installiert ist.
• LangChain CLI: Dies ist das Befehlszeileninterface für LangChain, das Sie zur Installation von LangServe verwenden werden.
• Git: Sie benötigen Git zum Klonen von Beispiel-Repositories.

Sobald Sie diese Voraussetzungen erfüllt haben, können Sie LangServe installieren und mit der Bereitstellung Ihrer LangChain-Projekte beginnen.

Installation von LangServe

Dank des LangChain CLI ist die Installation von LangServe ein Kinderspiel. Öffnen Sie Ihr Terminal und führen Sie den folgenden Befehl aus:

langchain-cli install langserve

Dieser Befehl lädt die neueste Version von LangServe herunter und installiert sie auf Ihrem System. Sobald die Installation abgeschlossen ist, können Sie sie überprüfen, indem Sie den folgenden Befehl ausführen:

langserve --version

Wenn Sie die Versionsnummer sehen, herzlichen Glückwunsch! Sie haben LangServe erfolgreich installiert.

Erstellen Sie Ihr erstes LangChain-Runnable

Jetzt, da LangServe installiert ist, erstellen wir unser erstes LangChain-Runnable. Ein Runnable ist im Wesentlichen ein Codefragment, das eine bestimmte Aufgabe in Ihrem LangChain-Projekt ausführt. Hier ist ein Codeausschnitt, um ein einfaches LangChain-Runnable einzurichten:

from langchain import Runnable
 
class MyRunnable(Runnable):
    def run(self, input_data):
        return {"output": input_data["input"] * 2}
 

Speichern Sie diesen Code in einer Datei mit dem Namen my_runnable.py.

Bereitstellen Ihres Runnables mit LangServe

Mit Ihrem Runnable bereit können Sie es nun mit LangServe bereitstellen. Erstellen Sie eine neue Python-Datei mit dem Namen deploy.py und fügen Sie folgenden Code hinzu:

from fastapi import FastAPI
from langserve import add_routes
from my_runnable import MyRunnable
 
app = FastAPI()
runnable = MyRunnable()
 
add_routes(app, runnable)

Dieser Code richtet eine FastAPI-Anwendung ein und fügt Routen für Ihr Runnable mit Hilfe der add_routes-Funktion von LangServe hinzu.

Um Ihre FastAPI-Anwendung auszuführen, führen Sie den folgenden Befehl aus:

uvicorn deploy:app --reload

Dein LangChain-Runnable ist nun als REST-API bereitgestellt und über http://localhost:8000 erreichbar.

Testen der Bereitstellung

Nachdem du deinen Runnable bereitgestellt hast, ist es wichtig, ihn zu testen, um sicherzustellen, dass alles wie erwartet funktioniert. Verwende curl oder Postman, um eine POST-Anfrage an http://localhost:8000/invoke mit dem folgenden JSON-Payload zu senden:

{
  "input": 5
}

Wenn alles korrekt eingerichtet ist, solltest du eine JSON-Antwort mit dem Ausgabewert 10 erhalten.

Bereitstellungsoptionen für LangServe

Bereitstellung von LangServe auf GCP Cloud Run

Google Cloud Platform (GCP) ist einer der beliebtesten Cloud-Dienste und mit LangServe ist es unglaublich einfach, deine LangChain-Projekte auf GCP Cloud Run bereitzustellen. Hier ist wie es funktioniert:

1. Erstelle ein Docker-Image: Erstelle eine Dockerfile in deinem Projektverzeichnis mit folgendem Inhalt:

   FROM python:3.8
   COPY . /app
   WORKDIR /app
   RUN pip install -r requirements.txt
   CMD ["uvicorn", "deploy:app", "--host", "0.0.0.0", "--port", "8080"]

2. Baue das Image:

   docker build -t my-langserve-app .

3. Bereitstellung auf Cloud Run:

   gcloud run deploy --image gcr.io/your-project-id/my-langserve-app

Und das war's! Dein LangChain-Projekt ist jetzt auf GCP Cloud Run bereitgestellt.

Bereitstellung von LangServe auf Replit

Replit ist eine ausgezeichnete Plattform für schnelle Prototypen und du kannst sie auch verwenden, um LangServe bereitzustellen. Klon einfach dein LangServe-Projektrepository in Replit und klicke auf die Schaltfläche "Run". Replit erkennt automatisch die FastAPI-Anwendung und bereitstellt sie.

Zukünftige Entwicklungen in LangServe

LangServe ist kein statisches Werkzeug; es entwickelt sich kontinuierlich weiter, um den wachsenden Anforderungen des LangChain-Ökosystems gerecht zu werden. Obwohl es bereits eine robuste Auswahl an Funktionen für die LangChain-Bereitstellung bietet, plant das Entwicklungsteam, noch einen Schritt weiter zu gehen. Hier ist ein kleiner Einblick in das, was kommen wird:

• Unterstützung für mehr Cloud-Plattformen: Während LangServe derzeit die Bereitstellung auf GCP Cloud Run und Replit unterstützt, sollen zukünftige Updates auch die Kompatibilität mit anderen Cloud-Plattformen wie AWS und Azure ermöglichen.

• Verbesserte Überwachungsmöglichkeiten: Die integrierte Tracing-Funktion von LangServe zu LangSmith ist erst der Anfang. Zukünftige Versionen sollen weitere Funktionen zur Analyse und Überwachung bieten, um deine Bereitstellungen genauer im Blick zu behalten.

• Erweiterte API-Funktionen: Das Entwicklungsteam arbeitet daran, weitere fortgeschrittene API-Funktionen hinzuzufügen, darunter Echtzeit-Datenstreaming und Stapelverarbeitungsfähigkeiten, um LangServe noch leistungsfähiger zu machen.

Diese zukünftigen Entwicklungen sollen LangServe zu einem noch unverzichtbareren Werkzeug für die LangChain-Bereitstellung machen. Egal, ob du ein einzelner Entwickler oder Teil eines großen Teams bist, diese kommenden Funktionen versprechen, dein Leben einfacher zu machen und deine Bereitstellungen robuster.

Zusätzliche Ressourcen für LangServe und LangChain-Bereitstellung

Obwohl dieser Leitfaden umfassend sein soll, haben LangServe und LangChain noch viel mehr zu bieten. Hier sind einige zusätzliche Ressourcen, die dir helfen können, dein Verständnis und deine Fähigkeiten zu vertiefen:

• LangChain-Bereitstellungs-GitHub-Repositories: Es gibt mehrere Beispielrepositories auf GitHub, die verschiedene Arten von LangChain-Bereitstellungen demonstrieren. Diese sind ausgezeichnete Ressourcen zum Lernen und können als Vorlagen für deine Projekte dienen.

• LangChain-Server-Dokumentation: Für diejenigen, die tiefer in die technischen Aspekte eintauchen möchten, ist die LangChain-Server-Dokumentation eine wahre Fundgrube an Informationen. Sie umfasst alles von der grundlegenden Einrichtung bis zu fortgeschrittenen Funktionen.

• LangChain-Discord-Community: Wenn du Fragen hast oder auf Probleme stößt, ist die LangChain-Discord-Community ein großartiger Ort, um Hilfe zu suchen. Es ist auch eine fantastische Plattform, um mit anderen LangChain-Entwicklern in Kontakt zu treten und über die neuesten Nachrichten und Updates auf dem Laufenden zu bleiben.

• LangServe Github (opens in a new tab)
• LangServe API (opens in a new tab)

Fazit

LangServe ist ein bahnbrechendes Werkzeug, das die komplexe Aufgabe der LangChain-Bereitstellung vereinfacht. Von seinen Hauptfunktionen bis hin zu einer detaillierten schrittweisen Einrichtungsanleitung hat dich dieser Artikel mit dem Wissen ausgestattet, das du benötigst, um deine LangChain-Projekte professionell bereitzustellen. Mit LangServe hast du die Möglichkeit, zu skalieren und bereitzustellen, direkt an deinen Fingerspitzen.

Während LangServe sich weiterentwickelt, bieten sich auch immer mehr Möglichkeiten für robustere und skalierbare LangChain-Bereitstellungen. Ob du gerade erst anfängst oder deine bestehenden Projekte auf die nächste Stufe bringen möchtest, LangServe ist das Werkzeug, auf das du gewartet hast.