LangSmith: La mejor manera de probar LLMs y aplicaciones de IA

Name

Lynn Mikami

Published on 30/4/2024

Si estás en el mundo de los Modelos de Aprendizaje de Lenguaje (LLMs, por sus siglas en inglés), probablemente hayas oído hablar de LangSmith. Pero ¿sabes cómo puede transformar tus aplicaciones de LLM de buenas a excelentes? Este artículo es tu guía completa para entender LangSmith, una plataforma que ofrece una gran cantidad de funciones para la depuración, prueba, evaluación y monitoreo de aplicaciones de LLM.

Ya seas un desarrollador experimentado o un principiante en el campo de los LLMs, LangSmith tiene algo para todos. Desde su integración perfecta con LangChain hasta su robusto Cookbook lleno de ejemplos del mundo real, LangSmith es un cambio de juego. ¡Sumérgete!

¿Qué es LangSmith?

LangSmith es una plataforma de vanguardia diseñada para elevar tus aplicaciones de LLM a una calidad de producción. Pero, ¿qué significa eso? En términos simples, LangSmith es tu conjunto de herramientas para construir, probar e implementar agentes e inteligencia basados en cualquier marco de LLM. Ha sido desarrollado por LangChain, la misma empresa detrás del marco de código abierto LangChain, e integra perfectamente con él.

Funciones clave de LangSmith

• Depuración y prueba: LangSmith no se trata solo de construir; se trata de construir de la manera correcta. La plataforma ofrece tutoriales interactivos y una guía de inicio rápido para que puedas comenzar rápidamente. Ya sea que estés programando en Python, TypeScript u otro lenguaje, LangSmith te tiene cubierto.

• Configuración de API y entorno: Antes de comenzar a construir, tendrás que configurar tu entorno. LangSmith facilita esto con su acceso a claves de API y pasos sencillos para configurar el entorno. Por ejemplo, puedes instalar la última versión de LangChain para tu entorno objetivo utilizando comandos simples como pip install -U langchain.

• Capacidad de rastreo: Una de las características destacadas de LangSmith es su capacidad para rastrear código. Esto es crucial para la depuración y mejora de tus aplicaciones. Puedes personalizar nombres de ejecución, rastrear llamadas anidadas y mucho más.

¿Por qué elegir LangSmith?

1. Facilidad de uso: LangSmith está diseñado teniendo en cuenta la facilidad de uso para el usuario. La plataforma ofrece una variedad de tutoriales y documentación para ayudarte a comenzar.

2. Versatilidad: Ya sea que estés trabajando en un proyecto pequeño o una aplicación a gran escala, LangSmith es lo suficientemente versátil como para satisfacer tus necesidades.

3. Soporte de la comunidad: LangSmith cuenta con una comunidad sólida de desarrolladores y expertos que están siempre dispuestos a ayudar. Puedes unirte a los foros de la comunidad o incluso contribuir al Cookbook con tus propios ejemplos.

En este punto, deberías tener una buena comprensión de qué es LangSmith y por qué es un activo valioso para cualquier persona que trabaje con LLMs. En la siguiente sección, profundizaremos en cómo configurar LangSmith y aprovechar al máximo sus funciones.

Configuración de LangSmith

Configurar LangSmith es muy sencillo, gracias a su interfaz fácil de usar y a los pasos bien documentados. Pero antes de empezar, necesitarás una clave de API para acceder. No te preocupes, obtener una es tan fácil como comer un pedazo de pastel.

Pasos para obtener tu clave de API

1. Crea una cuenta de LangSmith: Ve al sitio web de LangSmith y regístrate para obtener una cuenta. Puedes utilizar varios métodos de inicio de sesión admitidos.

2. Ir a Configuración: Una vez que hayas configurado tu cuenta, ve a la página de configuración. Aquí encontrarás la opción para crear una clave de API.

3. Generar clave de API: Haz clic en el botón 'Generar clave de API' ¡y listo! Ahora tienes tu clave de API.

Configuración de tu entorno

Después de obtener tu clave de API, el siguiente paso es configurar tu entorno en tiempo de ejecución. LangSmith te permite hacer esto utilizando simples comandos de consola. Así es cómo:

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_ENDPOINT=https://api.smith.langchain.com
export LANGCHAIN_API_KEY=<tu-clave-de-api>

Reemplaza <tu-clave-de-api> con la clave de API que generaste anteriormente. Estos comandos configuran tus variables de entorno, facilitando la interacción con LangSmith.

Cookbook de LangSmith: Ejemplos reales de LangSmith

El Cookbook de LangSmith no es solo una recopilación de fragmentos de código; es una mina de oro de ejemplos prácticos diseñados para inspirarte y ayudarte en tus proyectos. Ya seas un principiante o un experto en el campo de los Modelos de Aprendizaje de Lenguaje (LLMs), el Cookbook ofrece una gran cantidad de conocimientos prácticos sobre patrones comunes y casos de uso del mundo real. Así que profundicemos en lo que el Cookbook de LangSmith tiene para ofrecer.

¿Qué es el Cookbook de LangSmith?

El Cookbook de LangSmith es un repositorio que sirve como guía práctica para dominar LangSmith. Va más allá de los conceptos básicos cubiertos en la documentación estándar, adentrándose en patrones comunes y escenarios del mundo real. Estas recetas te permiten depurar, evaluar, probar y mejorar continuamente tus aplicaciones de LLM.

Tu aporte importa

El Cookbook es un recurso impulsado por la comunidad. Si tienes conocimientos para compartir o sientes que se ha omitido un caso de uso específico, te animamos a plantear un problema en GitHub o ponerte en contacto con el equipo de desarrollo de LangChain. Tu experiencia da forma a esta comunidad, convirtiendo al Cookbook en un recurso dinámico y en constante evolución.

Ejemplos clave del Cookbook

Rastreo de tu código

• Rastreo sin LangChain (opens in a new tab): Aprende cómo rastrear aplicaciones de manera independiente de LangChain utilizando el decorador @traceable del SDK de Python.

• API REST (opens in a new tab): Familiarízate con las características de la API REST para el registro de ejecuciones de modelos LLM y chat, y comprende las ejecuciones anidadas.

• Personalización de nombres de ejecución (opens in a new tab): Mejora la claridad de la interfaz de usuario asignando nombres específicos a las ejecuciones de LangSmith Chain. Esto incluye ejemplos para cadenas, funciones lambda y agentes.

• Rastreo de llamadas anidadas dentro de herramientas (opens in a new tab): Aprende cómo incluir todas las subllamadas anidadas de una herramienta en un solo rastreo.

• Mostrar enlaces de rastreo (opens in a new tab): Acelera tu desarrollo añadiendo enlaces de rastreo a tu aplicación. Esto te permite ver rápidamente su flujo de ejecución, añadir comentarios a una ejecución o agregar la ejecución a un conjunto de datos.

LangChain Hub

• Cadena de recuperación de preguntas y respuestas (opens in a new tab): Utiliza ejemplos de preguntas y respuestas del Hub en un pipeline RAG.

• Versionado de preguntas (opens in a new tab): Asegura la estabilidad de la implementación seleccionando versiones específicas de preguntas.

• PrompTemplate Ejecutable (opens in a new tab): Guarda las preguntas en el Hub desde el playground e intégralas en cadenas ejecutables.

Pruebas y evaluación

• Correctitud del sistema de preguntas y respuestas (opens in a new tab): Evalúa de extremo a extremo tu pipeline de preguntas y respuestas con recuperación mejorada en un conjunto de datos.

• Evaluación de sistemas de preguntas y respuestas con datos dinámicos (opens in a new tab): Utiliza evaluadores que desreferencian etiquetas para manejar datos que cambian con el tiempo.

• Evaluación de RAG usando fuentes fijas (opens in a new tab): Evalúa el componente de respuesta de un pipeline RAG proporcionando documentos recuperados en el conjunto de datos.

• Evaluaciones comparativas (opens in a new tab): Utiliza puntuación de preferencia etiquetada para contrastar versiones del sistema y determinar las salidas más óptimas.

• LangSmith en Pytest (opens in a new tab): Realiza pruebas de referencia de tu cadena en pytest y asegúrate de que las métricas agregadas cumplan con el umbral de calidad.

• Pruebas unitarias con Pytest (opens in a new tab): Escribe pruebas unitarias individuales y registra las aserciones como comentarios.

• Evaluando ejecuciones existentes (opens in a new tab): Añade comentarios asistidos por IA y métricas de evaluación a rastreos de ejecuciones existentes.

• Asignación de nombres a proyectos de prueba (opens in a new tab): Asigna manualmente nombres a tus pruebas con run_on_dataset(..., project_name='my-project-name').

• Cómo descargar comentarios y ejemplos (opens in a new tab): Exporta predicciones, resultados de evaluación y otra información para agregarla a tus informes de forma programática.

Ejemplos de pruebas de TypeScript / JavaScript

• Evaluando cadenas JS en Python (opens in a new tab): Evalúa cadenas JS utilizando evaluadores personalizados de Python.

• Registre aserciones como comentarios (opens in a new tab): Convierte las aserciones de las pruebas de CI en comentarios de LangSmith.

Uso de comentarios

• Aplicación de chat Streamlit (opens in a new tab): Una aplicación de chat minimalista que captura los comentarios de los usuarios y comparte los rastreos de la aplicación de chat.

• Aplicación de chat Next.js (opens in a new tab): Una aplicación de chat, pero en su versión para Next.js.

• Comentarios algorítmicos en tiempo real (opens in a new tab): Genera métricas de comentarios para cada ejecución utilizando una devolución de llamada asíncrona.

• Evaluación en tiempo real de un chat bot RAG (opens in a new tab): Comprueba automáticamente las alucinaciones en las respuestas de tu chat bot RAG en comparación con los documentos recuperados.

Exportación de datos para el ajuste fino

• Ajuste fino de OpenAI (opens in a new tab): Enumera ejecuciones de LLM y conviértelas al formato de ajuste fino de OpenAI.

• Curation del conjunto de datos Lilac (opens in a new tab): Cura aún más tus conjuntos de datos de LangSmith utilizando Lilac para detectar duplicados cercanos y verificar la PII.

Análisis exploratorio de datos

• Exportación de ejecuciones y comentarios de LLM (opens in a new tab): Extrae e interpreta los datos de ejecución de LLM de LangSmith para diversas plataformas analíticas.

• Lilac (opens in a new tab): Enriquece los conjuntos de datos utilizando la herramienta de análisis de código abierto, Lilac, para etiquetar y organizar mejor tus datos.

Al explorar estos ejemplos, adquirirás una comprensión completa de las capacidades de LangSmith, lo que te permitirá llevar tus aplicaciones de LLM al siguiente nivel. ¡Así que no esperes más! Sumérgete en el CookBook de LangSmith y comienza a cocinar magia con tu código.

Conclusión

LangSmith no es solo otra herramienta; es una plataforma completa que puede llevar tus aplicaciones de LLM al siguiente nivel. Desde sus robustas capacidades de rastreo hasta su integración perfecta con el Hub de LangChain, LangSmith ofrece una variedad de características diseñadas para facilitar tu vida. Y no olvidemos el CookBook de LangSmith, un tesoro de ejemplos del mundo real y fragmentos de código prácticos. Ya sea que estés comenzando o buscando optimizar tus aplicaciones existentes, LangSmith te tiene cubierto.

Preguntas frecuentes

¿Qué hace LangSmith?

LangSmith es una plataforma diseñada para ayudarte a construir, probar, evaluar y monitorear aplicaciones de LLM. Ofrece una variedad de funciones que incluyen trazabilidad, acceso a la API y un Cookboo lleno de ejemplos del mundo real.

¿Cuál es la diferencia entre LangSmith y LangChain?

Mientras que LangSmith se enfoca en construir y gestionar aplicaciones de LLM, LangChain sirve como un marco para el desarrollo de modelos de lenguaje. LangSmith se integra perfectamente con LangChain, ofreciendo una plataforma unificada para todas tus necesidades de LLM.

¿Cómo puedo acceder a LangSmith?

Para acceder a LangSmith, deberás registrarte para obtener una cuenta en su sitio web. Una vez registrado, podrás generar una clave de API que te permitirá interactuar con la plataforma.