Phi-3: Compacto e Poderoso Modelo de Linguagem da Microsoft
- Name
- Jennie Rose
Published on
No mundo em constante evolução da inteligência artificial, a Microsoft deu um grande passo com a introdução do Phi-3, um modelo de linguagem compacto, porém altamente capaz. Apesar de seu tamanho relativamente pequeno, o Phi-3 demonstrou um desempenho impressionante em vários benchmarks, rivalizando com modelos muito maiores em escala. Este artigo vai se aprofundar nos detalhes do Phi-3, comparar seu desempenho com outros modelos de linguagem proeminentes e fornecer um guia sobre como executar o Phi-3 localmente no seu dispositivo.
O que é Phi-3?
O Phi-3 é uma série de modelos de linguagem desenvolvidos pela Microsoft, sendo que a menor variação, o Phi-3-mini, possui apenas 3,8 bilhões de parâmetros. Isso é uma fração do tamanho de outros modelos conhecidos, como o GPT-3.5, que possui cerca de 175 bilhões de parâmetros. Apesar de seu tamanho compacto, o Phi-3 tem mostrado resultados impressionantes em vários benchmarks, graças às inovadoras técnicas de treinamento e à curadoria de conjuntos de dados da Microsoft.
A série Phi-3 atualmente é composta por três modelos:
- Phi-3-mini: 3,8 bilhões de parâmetros
- Phi-3-small: 7 bilhões de parâmetros
- Phi-3-medium: 14 bilhões de parâmetros
A Microsoft deu indícios do lançamento futuro de modelos Phi-3 maiores, mas mesmo a versão menor já tem chamado a atenção devido ao seu desempenho.
Desempenho nos Benchmarks
Para avaliar o desempenho do Phi-3, vamos comparar suas pontuações em dois benchmarks amplamente utilizados: MMLU (Multitask Metric for Longform Understanding) e MT-bench (Machine Translation Benchmark).
| Modelo | MMLU | MT-bench |
|---|---|---|
| Phi-3-mini (3,8B) | 69% | 8,38 |
| Phi-3-small (7B) | 75% | 8,7 |
| Phi-3-medium (14B) | 78% | 8,9 |
| Llama-3 (8B) | 66% | 8,6 |
| Mixtral 8x7B | 68% | 8,4 |
| GPT-3.5 | 71% | 8,4 |
Como a tabela ilustra, os modelos Phi-3 têm um desempenho impressionante em comparação com modelos maiores como Llama-3, Mixtral 8x7B e até mesmo o GPT-3.5. O Phi-3-mini, com apenas 3,8 bilhões de parâmetros, alcança pontuações comparáveis a modelos várias vezes maiores. Esse impressionante desempenho pode ser atribuído às técnicas avançadas de treinamento e à curadoria de conjuntos de dados de alta qualidade da Microsoft.
Executando o Phi-3 Localmente
Um dos aspectos mais empolgantes do Phi-3 é a sua capacidade de ser executado localmente em uma ampla variedade de dispositivos, incluindo smartphones e laptops. Isso é possível devido ao tamanho compacto do modelo e à sua arquitetura eficiente. Executar o Phi-3 localmente oferece várias vantagens, como latência reduzida, melhor privacidade e a capacidade de usar o modelo offline.
Para executar o Phi-3 localmente, você pode usar o framework Ollama, que fornece uma interface simples e amigável para interagir com o modelo. Aqui está um guia passo a passo sobre como começar:
-
Instale o Ollama executando o seguinte comando:
pip install ollama -
Faça o download do modelo Phi-3 de sua escolha no repositório de modelos do Hugging Face. Por exemplo, para baixar o Phi-3-mini, execute o seguinte comando:
ollama download phi-3-mini -
Após o download do modelo, você pode iniciar uma sessão interativa com o Phi-3 usando o seguinte comando:
ollama run phi-3-mini -
Agora você pode interagir com o modelo Phi-3, inserindo prompts e recebendo respostas geradas.
Alternativamente, você pode usar a biblioteca ONNX Runtime para executar modelos Phi-3 localmente. O ONNX Runtime é um mecanismo eficiente de inferência que suporta várias plataformas e linguagens de programação. Para usar o ONNX Runtime com o Phi-3, siga estes passos:
-
Instale o ONNX Runtime executando o seguinte comando:
pip install onnxruntime -
Faça o download da versão ONNX do modelo Phi-3 que você deseja usar no repositório de modelos do Hugging Face.
-
Carregue o modelo usando o ONNX Runtime e comece a gerar respostas com base nos seus prompts de entrada.
Aqui está um exemplo de código Python simples para ajudar você a começar:
import onnxruntime as ort
session = ort.InferenceSession("caminho/para/phi-3-mini.onnx")
prompt = "Qual é a capital da França?"
input_ids = ... # Tokenize o prompt e converta-o para IDs de entrada
outputs = session.run(None, {"input_ids": input_ids})
generated_text = ... # Decode os IDs de saída para obter o texto gerado
print(generated_text)Conclusão
A série de modelos de linguagem Phi-3 da Microsoft representa um marco significativo no desenvolvimento de modelos de IA compactos e eficientes. Com seu impressionante desempenho em benchmarks e capacidade de execução local em vários dispositivos, o Phi-3 abre novas possibilidades para aplicações de IA em áreas como computação móvel, dispositivos de borda e cenários sensíveis à privacidade.
À medida que o campo da inteligência artificial continua a evoluir, modelos como o Phi-3 demonstram que o tamanho nem sempre é o mais importante. Ao focar em técnicas avançadas de treinamento, conjuntos de dados de alta qualidade e arquiteturas eficientes, os pesquisadores podem criar modelos de linguagem poderosos que rivalizam com o desempenho de seus concorrentes maiores, ao mesmo tempo em que oferecem os benefícios da execução local.
Com o lançamento do Phi-3, a Microsoft estabeleceu um novo padrão para modelos de linguagem compactos, e será empolgante ver como essa tecnologia se desenvolve e é aplicada em cenários do mundo real em um futuro próximo.
