vLLM: Revolucionando o Serviço de LLM com PagedAttention

Published on 30/04/2024

Olá! Hoje, vamos mergulhar a fundo em algo que está criando ondas na comunidade de IA - vLLM. Se você gosta de IA e de modelos de linguagem grandes (LLMs), você vai querer conhecer isso. O vLLM não é apenas mais uma ferramenta; é um divisor de águas na forma como servimos e utilizamos LLMs, tornando-os mais rápidos, mais eficientes e acessíveis a uma gama maior de projetos e equipes. Prepare-se, porque vamos explorar o que torna o vLLM tão especial e por que ele pode ser a grande descoberta que estávamos esperando.

No mundo da inteligência artificial, a promessa de modelos de linguagem grandes (LLMs) tem sido revolucionária. Esses modelos têm o potencial de transformar indústrias, oferecendo novas formas de interagir com a tecnologia e processar informações. No entanto, a realidade de servir esses modelos tem sido cheia de desafios. Eles requerem recursos computacionais substanciais e, apesar da disponibilidade de hardware poderoso, servir LLMs pode ser surpreendentemente lento e caro. É aí que entra o vLLM, um farol de inovação nos mares muitas vezes turbulentos da tecnologia de IA.

vLLM: Serviço de LLM Fácil, Rápido e Barato com PagedAttention

Apresentado em 20 de junho de 2023, por uma equipe da UC Berkeley, o vLLM é um testemunho do que a inovação colaborativa pode alcançar. Desenvolvido por Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Yu, Joey Gonzalez, Hao Zhang e Ion Stoica, o vLLM enfrenta de frente os principais problemas enfrentados pelo serviço de LLMs. Ao aproveitar um novo algoritmo de atenção chamado PagedAttention, o vLLM supera significativamente as soluções existentes em termos de rendimento e eficiência.

Principais destaques:

• GitHub | Documentação | Artigo: vLLM (opens in a new tab) é um tesouro de código aberto para aqueles que desejam mergulhar nas questões técnicas ou simplesmente começar a utilizá-lo para suas próprias necessidades de serviço de LLM (opens in a new tab).
• Desempenho incomparável: Em benchmarks, o vLLM oferece até 24 vezes mais rendimento em comparação com bibliotecas populares como HuggingFace Transformers, sem exigir nenhuma alteração na arquitetura do modelo.

O Segredo por Trás do Seu Sucesso: PagedAttention

• No seu cerne, o PagedAttention enfrenta o gargalo de memória no serviço de LLMs. Ao gerenciar chaves de atenção e valores de forma mais eficaz, ele permite um alto rendimento e uso eficiente da memória.
• Flexibilidade e Eficiência: Inspirado nos sistemas de memória virtual em sistemas operacionais, o PagedAttention armazena chaves e valores em blocos de memória não contíguos, permitindo um gerenciamento dinâmico e eficiente da memória.
• Uso Otimizado de Memória: Este método reduz drasticamente o desperdício de memória e possibilita uma maior utilização da GPU, resultando em um melhor desempenho.

Aplicações Práticas e Impacto

• Implantação no Mundo Real: O vLLM foi implantado em plataformas como Chatbot Arena e Vicuna Demo, demonstrando sua eficácia no atendimento a milhões de usuários.
• Eficiência de Custo: Ao aumentar o rendimento e reduzir os requisitos de GPU, o vLLM permite que pequenas equipes ofereçam serviços de LLMs de forma acessível, democratizando o acesso a tecnologias de IA de ponta.

Primeiros Passos com o vLLM

Para aqueles que estão ansiosos para colocar a mão na massa, começar com o vLLM é tão simples quanto executar um único comando para instalá-lo pelo GitHub. Seja para realizar inferência offline ou configurar um sistema de serviço online, o vLLM oferece flexibilidade e facilidade de uso.

• Instalação: Simples e amigável, exigindo apenas um único comando para começar a usar.
• Cenários de Uso: Suporta uma variedade de casos de uso, desde inferência em lote em conjuntos de dados até a criação de um servidor compatível com a API do OpenAI para serviço online.

vLLM na Prática: Um Guia Passo a Passo

Para que você tenha uma ideia de como é trabalhar com o vLLM, aqui está um resumo rápido:

1. Inferência Offline em Lotes: Aprenda como usar o vLLM para geração de texto em grande volume a partir de uma lista de prompts.
2. Construindo um Servidor de API: Siga o processo de configuração de um servidor de API para serviço de LLM, compatível com a API do OpenAI.
3. Recursos Avançados: Explore as capacidades do vLLM, incluindo amostragem paralela e busca de beam, para ver como ele lida facilmente com algoritmos de amostragem complexos.

à medida que abre caminho para um serviço de LLM mais acessível, eficiente e escalável. Seja você um pesquisador, um desenvolvedor ou apenas um entusiasta de IA, o vLLM oferece uma oportunidade de empurrar os limites do que é possível com modelos de linguagem grandes. Agora, vamos mergulhar nos detalhes técnicos e ver o vLLM em ação.

Aprofundando no vLLM

O vLLM se destaca não apenas pelo seu desempenho impressionante, mas também pela facilidade de uso. Ele oferece uma integração perfeita com ferramentas e fluxos de trabalho existentes, tornando-o uma escolha versátil para uma variedade de necessidades de serviço de LLM.

Recursos Principais do vLLM

O vLLM traz consigo uma série de recursos que abordam muitos dos desafios associados ao serviço de LLM:

• Rendimento de serviço de última geração: Aproveitando kernels CUDA otimizados e o inovador algoritmo PagedAttention, o vLLM alcança velocidades de serviço incomparáveis.
• Gerenciamento eficiente de memória: Através do PagedAttention, o vLLM gerencia eficientemente a memória das chaves de atenção e valores, reduzindo drasticamente a pegada de memória da inferência de LLM.
• Agrupamento contínuo: O vLLM pode agrupar continuamente solicitações recebidas, maximizando a utilização de hardware e o rendimento.
• Otimização de Kernel CUDA: O uso de kernels CUDA personalizados melhora ainda mais o desempenho, garantindo que o vLLM seja executado de forma eficiente.

Primeiros Passos com vLLM e LangChain

A integração do vLLM em seus projetos é fácil, graças à sua compatibilidade com pacotes populares em Python. Aqui está um guia rápido para começar:

1. Instalação: Certifique-se de ter o pacote python vllm instalado. Você pode instalá-lo usando o pip:

   %pip install --upgrade --quiet vllm -q

2. Uso Básico: Comece importando o VLLM do pacote langchain_community.llms e inicialize-o com o modelo desejado. Aqui está um exemplo:

   from langchain_community.llms import VLLM
    
   llm = VLLM(
       model="mosaicml/mpt-7b",
       trust_remote_code=True,  # obrigatório para modelos hf
       max_new_tokens=128,
       top_k=10,
       top_p=0.95,
       temperature=0.8,
   )
    
   print(llm.invoke("Qual é a capital da França?"))

   Este simples script demonstra como realizar inferência, retornando "Paris" como a capital da França.

Aprimorando a Inferência com LLMChain

Para tarefas de inferência mais complexas, o vLLM pode ser integrado em um LLMChain, permitindo engenharia e processamento sofisticados de prompts:

from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
 
template = """Pergunta: {question}
 
Resposta: Vamos pensar passo a passo."""
prompt = PromptTemplate.from_template(template)
 
llm_chain = LLMChain(prompt=prompt, llm=llm)
 
question = "Quem foi o presidente dos EUA no ano em que o primeiro jogo de Pokemon foi lançado?"
 
print(llm_chain.invoke(question))

Essa abordagem permite raciocínio passo a passo, fornecendo respostas detalhadas para perguntas complexas.

Inferência Distribuída e Quantização

vLLM oferece recursos avançados como inferência distribuída e quantização, tornando-o adequado para ambientes com alta demanda:

• Inferência Distribuída: Para aproveitar várias GPUs, basta definir o argumento tensor_parallel_size ao inicializar o VLLM.
• Quantização: O vLLM também oferece suporte à quantização AWQ, que pode reduzir significativamente a pegada de memória do modelo sem sacrificar o desempenho.

Servidor Compatível com OpenAI

Uma das características mais poderosas do vLLM é sua capacidade de imitar o protocolo da API OpenAI, tornando-o uma substituição fácil para aplicativos que atualmente usam a API OpenAI. Essa capacidade abre um mundo de possibilidades para implantar soluções eficientes e escalonáveis de LLM.

Conclusão: O Futuro do Serviço de LLM com vLLM

O vLLM representa um avanço significativo na tecnologia de serviço de LLM. Com sua combinação de alta taxa de transferência, gerenciamento eficiente de memória e facilidade de uso, o vLLM está bem posicionado para se tornar um participante chave no cenário de IA. Se você deseja aprimorar aplicativos existentes ou explorar novas possibilidades com LLMs, o vLLM oferece as ferramentas e o desempenho necessários para o sucesso de seus projetos. À medida que a comunidade continua a explorar e expandir as capacidades do vLLM, podemos esperar ainda mais aplicações inovadoras e melhorias no futuro.