Phi-3: El modelo de lenguaje compacto y potente de Microsoft

Name

Jennie Rose

Published on 30/4/2024

En el mundo en constante evolución de la inteligencia artificial, Microsoft ha logrado un avance significativo con la introducción de Phi-3, un modelo de lenguaje compacto pero altamente capacitado. A pesar de su tamaño relativamente pequeño, Phi-3 ha demostrado un rendimiento notable en varios puntos de referencia, compitiendo con modelos de mayor escala. En este artículo, exploraremos los detalles de Phi-3, compararemos su rendimiento con otros modelos de lenguaje destacados y proporcionaremos una guía sobre cómo ejecutar Phi-3 de forma local en tu dispositivo.

¿Qué es Phi-3?

Phi-3 es una serie de modelos de lenguaje desarrollados por Microsoft, siendo la variante más pequeña, Phi-3-mini, la que cuenta con solo 3.8 mil millones de parámetros. Esto es solo una fracción del tamaño de otros modelos conocidos como GPT-3.5, que tiene alrededor de 175 mil millones de parámetros. A pesar de su tamaño compacto, Phi-3 ha mostrado resultados impresionantes en varios puntos de referencia, gracias a las técnicas de entrenamiento innovadoras de Microsoft y la curación de conjuntos de datos.

La serie Phi-3 actualmente consta de tres modelos:

1. Phi-3-mini: 3.8 mil millones de parámetros
2. Phi-3-small: 7 mil millones de parámetros
3. Phi-3-medium: 14 mil millones de parámetros

Microsoft ha insinuado el lanzamiento futuro de modelos Phi-3 más grandes, pero incluso la variante más pequeña ya ha captado atención significativa por su rendimiento.

Rendimiento en puntos de referencia

Para evaluar el rendimiento de Phi-3, comparemos sus puntuaciones en dos puntos de referencia ampliamente utilizados: MMLU (Métrica Multitarea para Comprensión de Textos Largos) y MT-bench (Puntos de referencia de Traducción Automática).

Como muestra la tabla, los modelos Phi-3 tienen un rendimiento notable en comparación con modelos más grandes como Llama-3, Mixtral 8x7B e incluso GPT-3.5. Phi-3-mini, con solo 3.8 mil millones de parámetros, logra puntuaciones comparables a modelos varias veces su tamaño. Este rendimiento impresionante se puede atribuir a las técnicas de entrenamiento avanzadas de Microsoft y la curación de conjuntos de datos de alta calidad.

Ejecución de Phi-3 de forma local

Uno de los aspectos más emocionantes de Phi-3 es su capacidad de ejecutarse de forma local en una amplia gama de dispositivos, incluidos teléfonos inteligentes y portátiles. Esto es posible gracias al tamaño compacto y la arquitectura eficiente del modelo. La ejecución de Phi-3 de forma local ofrece varias ventajas, como una latencia reducida, una mayor privacidad y la capacidad de utilizar el modelo sin conexión.

Para ejecutar Phi-3 de forma local, puedes utilizar el marco de trabajo Ollama, que proporciona una interfaz sencilla y fácil de usar para interactuar con el modelo. Aquí tienes una guía paso a paso sobre cómo empezar:

1. Instala Ollama ejecutando el siguiente comando:

   pip install ollama

2. Descarga el modelo Phi-3 de tu elección del repositorio de modelos de Hugging Face. Por ejemplo, para descargar Phi-3-mini, ejecuta:

   ollama download phi-3-mini

3. Una vez descargado el modelo, puedes iniciar una sesión interactiva con Phi-3 utilizando el siguiente comando:

   ollama run phi-3-mini

4. Ahora puedes interactuar con el modelo Phi-3 ingresando comandos y recibiendo respuestas generadas.

Alternativamente, puedes utilizar la biblioteca ONNX Runtime para ejecutar modelos Phi-3 de forma local. ONNX Runtime es un motor de inferencia eficiente que admite diversas plataformas y lenguajes de programación. Para utilizar ONNX Runtime con Phi-3, sigue estos pasos:

1. Instala ONNX Runtime ejecutando el siguiente comando:

   pip install onnxruntime

2. Descarga la versión ONNX del modelo Phi-3 que deseas utilizar desde el repositorio de modelos de Hugging Face.

3. Carga el modelo utilizando ONNX Runtime y comienza a generar respuestas en función de tus comandos de entrada.

Aquí tienes un simple fragmento de código en Python para que te inicies:

import onnxruntime as ort
 
session = ort.InferenceSession("ruta/al/phi-3-mini.onnx")
 
comando = "¿Cuál es la capital de Francia?"
ids_entrada = ... # Tokeniza el comando y conviértelo en IDs de entrada
 
salidas = session.run(None, {"input_ids": ids_entrada})
texto_generado = ... # Decodifica los IDs de salida para obtener el texto generado
 
print(texto_generado)

Conclusión

La serie de modelos de lenguaje Phi-3 de Microsoft representa un hito significativo en el desarrollo de modelos de IA compactos y eficientes. Con su impresionante rendimiento en puntos de referencia y su capacidad de ejecutarse de forma local en varios dispositivos, Phi-3 brinda nuevas posibilidades para aplicaciones de IA en áreas como la informática móvil, dispositivos periféricos y escenarios sensibles a la privacidad.

A medida que el campo de la inteligencia artificial continúa evolucionando, modelos como Phi-3 demuestran que más grande no siempre es mejor. Al centrarse en técnicas de entrenamiento avanzadas, conjuntos de datos de alta calidad y arquitecturas eficientes, los investigadores pueden crear modelos de lenguaje potentes que compiten en rendimiento con sus contrapartes más grandes, al tiempo que ofrecen los beneficios de una ejecución local.

Con el lanzamiento de Phi-3, Microsoft ha establecido un nuevo estándar para modelos de lenguaje compactos, y será emocionante ver cómo se desarrolla y se aplica esta tecnología en escenarios del mundo real en un futuro cercano.