Qwen-VL: Alibaba's 다용도 Vision-Language 모델 GPT-4V를 능가
지난 글에서 Alibaba는 텍스트와 이미지를 모두 인식하고 이해할 수 있는 대규모 비전-언어 모델인 Qwen-VL 시리즈를 소개했습니다. Qwen-LM의 기반이 되어 Qwen-VL은 섬세하게 설계된 시각 수용체, 입력-출력 인터페이스, 3단계 훈련 파이프라인 및 다국어 다중 모달 클린 코퍼스를 통해 시각 기능을 부여받았습니다.
최신 LLM 뉴스를 알고 싶나요? LLM leaderboard를 확인해보세요!
Qwen-VL의 주요 기능과 기능
Qwen-VL은 이미지, 텍스트 및 바운딩 박스를 입력으로 받고 텍스트와 바운딩 박스를 출력으로 생성합니다. 이 모델은 영어, 중국어 및 기타 언어로 다국어 대화를 지원하며 대화에서 여러 이미지를 처리할 수 있습니다. Qwen-VL은 또한 백만 픽셀 이상의 고해상도 이미지와 다양한 가로 세로 비율을 지원합니다.
이 모델은 강력한 시각적 추론, 텍스트 인식 및 페러샷 학습 기능을 보여줍니다. 이 모델은 이미지 내의 여러 요소를 정확하게 식별하고 설명하며 상세한 배경 정보를 제공하며 질문에 답하고 복잡한 시각적 콘텐츠를 분석할 수 있습니다. 또한 Qwen-VL은 수학 문제 해결 및 차트와 그래프의 깊은 해석을 포함한 문제 해결 및 추론 작업에서 뛰어난 성능을 발휘합니다.
Qwen-VL의 중요한 기능 중 하나는 멀티모달 대화에 참여할 수 있는 능력입니다. 사용자는 텍스트와 이미지의 조합을 입력으로 제공하면 모델이 대화의 문맥에 기반하여 관련 응답을 생성합니다. 이를 통해 모델은 텍스트 뿐만 아니라 시각적 단서에 대한 이해와 응답이 가능하여 인간과 AI 간의 더 자연스럽고 직관적인 상호 작용이 가능해집니다.
Qwen-VL의 다국어 지원은 또 다른 큰 장점입니다. 이 모델은 여러 언어로 된 다양한 데이터 코퍼스에서 훈련되었기 때문에 영어, 중국어 및 기타 언어로 된 응답을 이해하고 생성할 수 있습니다. 이는 크로스컬처 커뮤니케이션 및 글로벌 응용 프로그램에 가치 있는 도구로서의 Qwen-VL을 만들어냅니다.
벤치마크 성능
Qwen-VL은 다양한 벤치마크에서 높은 성적을 거두며 기존 오픈소스 대규모 비전-언어 모델 (LVLM)을 초월하고 GPT-4V 및 Gemini Ultra와 같은 큰 모델과도 견줄 만한 성능을 보입니다.
VQAv2 및 OKVQA, GQA 벤치마크에서 Qwen-VL은 각각 79.5%, 58.6%, 59.3%의 정확도를 달성하여 최근 LVLM을 능가합니다. Qwen-VL-Max는 다중모달 작업에서 Gemini Ultra와 GPT-4V와 거의 동등한 수행 성능을 보이며 Qwen-VL-Plus와 Qwen-VL-Max는 오픈소스 모델의 이전 최고 성적을 훌륭하게 능가합니다.
| Model | DocVQA | ChartQA | TextVQA | MMMU | MM-Bench-CN |
|---|---|---|---|---|---|
| Gemini Pro | 88.1% | 74.1% | 74.6% | 45.2% | 74.3% |
| Gemini Ultra | 90.9% | 80.8% | 82.3% | 53.0% | - |
| GPT-4V | 88.4% | 78.5% | 78.0% | 49.9% | 73.9% |
| Qwen-VL-Plus | 91.4% | 78.1% | 78.9% | 43.3% | 68.0% |
| Qwen-VL-Max | 93.1% | 79.8% | 79.5% | 51.0% | 75.1% |
특히 Qwen-VL-Max는 GPT-4V (OpenAI)와 Gemini (Google)을 중국어 질문 응답 및 중국어 텍스트 이해와 관련된 작업에서 압도적으로 성능을 발휘합니다. 이는 이 모델이 중국어 작업을 처리하는 데 강력한 성능을 가지고 있으며 중국어 사용자를 대상으로 하는 응용 프로그램에 유용한 리소스임을 강조합니다.
위에서 언급한 벤치마크 외에도 Qwen-VL은 이미지 캡셔닝, 시각 기준화 및 시각 추론과 같은 다른 작업에서도 훌륭한 결과를 보여주었습니다. 예를 들어 이미지 캡셔닝을 위한 Flickr30k 데이터 세트에서 Qwen-VL은 이전 최고 모델을 능가하는 41.2의 BLEU-4 점수를 달성합니다.
시각 기준화를 위한 RefCOCO 데이터 세트에서 Qwen-VL은 기존 모델보다 훨씬 높은 87.5%의 정확도를 달성합니다. 이는 텍스트 설명에 기반하여 이미지 내의 객체를 정확하게 찾고 식별할 수 있는 모델의 능력을 보여줍니다.
또한 Qwen-VL은 NLVR2 데이터 세트와 같은 시각적 추론 작업에서도 강력한 성능을 발휘합니다. 이 데이터 세트는 제공된 이미지를 기반으로 문장의 진실성을 결정하는 것을 요구하는 작업입니다. Qwen-VL은 이 작업에서 85.7%의 정확도를 달성하여 이미지 내의 객체와 속성 간의 관계에 대해 추론하는 능력을 보여줍니다.
이러한 벤치마크 결과는 다양한 비전-언어 작업에서 Qwen-VL의 다용도성과 강건성을 강조합니다. 영어 및 중국어 작업 모두에서 뛰어난 성능을 발휘하는 이 모델은 또한 다중모달 벤치마크에서 탁월한 성과를 거두어 다른 비전-언어 모델과 구별되는 강력한 도구로 고객을 위한 다양한 응용 프로그램에 활용될 수 있습니다.
로컬에서 Qwen-VL 실행하기
Qwen-VL을 로컬에서 실행하기 위해 Ollama 플랫폼을 사용할 수 있습니다. 아래는 단계별 가이드입니다:
-
디바이스에 Ollama를 설치하세요:
pip install ollama -
실행할 Qwen-VL 모델 크기를 선택하세요 (0.5B부터 72B까지 사용 가능):
ollama run qwen:7b -
또는 자체 GGUF 파일로 Qwen-VL 모델을 사용하여 Ollama를 실행할 수 있습니다:
ollama run path/to/your/model.gguf
다음은 Python을 사용하여 Qwen-VL과 상호 작용하는 샘플 코드 스니펫입니다:
from qwen_vl import QwenVL
model = QwenVL("qwen-vl-7b")
# 대화 기록이 없는 경우 Qwen에게 인사하기
response, history = model.chat(tokenizer, "안녕하세요 Qwen!", history=None)
print("Qwen:", response)
# context를 위해 이전 대화 기록을 전달합니다.
response, history = model.chat(tokenizer, "인생, 우주, 그리고 모든 것의 의미에 대해 어떤 생각이 있으신가요?", history=history)
print("Qwen:", response)
# 이미지와 질문을 제공합니다.
image_path = "이미지/파일/경로.jpg"
question = "이 이미지에서 어떤 물체를 볼 수 있나요?"
response, history = model.chat(tokenizer, question, image_path=image_path, history=history)
print("Qwen:", response)위의 코드 스니펫에서, 먼저 qwen_vl 모듈에서 QwenVL 클래스를 가져옵니다. 그런 다음 원하는 모델 크기(예: "qwen-vl-7b")를 지정하여 Qwen-VL 모델을 인스턴스화합니다.
모델과 상호 작용하기 위해 chat 메소드를 사용합니다. 이 메소드는 tokenizer, 텍스트 프롬프트, 선택적 이미지 경로 및 대화 기록을 인수로 받습니다. 모델은 제공된 입력을 기반으로 응답을 생성하고 업데이트된 대화 기록과 함께 응답을 반환합니다.
대화를 시작하기 위해 이전 기록이 없이 Qwen에게 인사합니다. 모델은 인사에 기반하여 응답을 생성합니다. 그런 다음 대화 기록을 전달하여 이후 상호작용에서 맥락을 유지할 수 있습니다.
이미지를 입력으로 제공하기 위해 image_path 인수를 사용하여 이미지 파일의 경로를 지정합니다. 이미지와 관련된 질문을 할 수 있으며, Qwen-VL은 시각적 콘텐츠와 질문을 기반으로 응답을 생성합니다.
Qwen-VL은 Hugging Face, ModelScope, API 및 기타 플랫폼을 통해도 접근할 수 있으므로, 연구원과 개발자들이 강력한 능력을 활용하기에 편리합니다.
잠재적 응용 분야 및 영향
Qwen-VL의 뛰어난 성능과 다용도는 다양한 산업분야에서 다양한 잠재적 응용 분야를 열어줍니다. 고급 시각 이해를 통해 멀티모달 AI 시스템을 향상시킬 수 있으며, 이미지와 텍스트를 통한 보다 자연스러운 인간-컴퓨터 상호작용을 가능하게 하고, 시각 검색, 이미지 분석 등의 분야에서 새로운 애플리케이션을 제공할 수 있습니다.
예를 들어, Qwen-VL은 자연어 질의에 기반한 이미지 검색 기능을 갖춘 지능형 이미지 검색 시스템 개발에 활용될 수 있습니다. 콘텐츠와 맥락을 이해함으로써, 기존의 키워드 기반 이미지 검색 엔진에 비해 보다 정확하고 관련성 높은 검색 결과를 제공할 수 있습니다.
전자 상거래 분야에서는 Qwen-VL을 제품 추천 및 맞춤화에 적용할 수 있습니다. 제품 이미지와 사용자의 선호도를 분석하여, 모델은 시각적으로 유사하거나 보완적인 제품을 고객에게 제안함으로써, 쇼핑 경험을 향상시키고 판매를 증대시킬 수 있습니다.
Qwen-VL은 지능형 가상 비서와 챗봇 개발에도 활용될 수 있습니다. 시각적 이해 능력을 통합함으로써, 이러한 비서는 더 맥락에 맞는 응답을 제공하고 사용자와 보다 자연스러운 대화를 할 수 있습니다. 예를 들어, 사용자가 관심 있는 제품의 이미지를 전송하면 가상 비서는 시각적 콘텐츠를 기반으로 정보, 리뷰 및 추천을 제공할 수 있습니다.
교육 분야에서는 Qwen-VL을 활용해 상호작용적인 학습 자료와 평가도구를 생성할 수 있습니다. 교육적 이미지, 다이어그램 및 차트를 바탕으로 모델은 질문과 설명을 생성함으로써 학생들에게 보다 매료적이고 효과적인 학습 경험을 제공할 수 있습니다.
또한, Qwen-VL은 시각 콘텐츠를 이해하고 설명하는 능력을 통해 시각 장애인들에게 자동 캡션, 요약 및 번역을 생성하는 데에도 활용될 수 있습니다. 이는 시각적으로 장애를 가진 개인들에게 접근성을 크게 향상시키고, 전 세계적인 의사 소통에서 언어 장벽을 해소하는 데에 큰 도움이 될 수 있습니다.
알리바바는 Qwen-VL의 능력을 더욱 개선하고 확장함으로써, 시각-언어 AI 분야에 중요한 기여를 할 것으로 기대할 수 있습니다. 뛰어난 성능, 쉬운 접근성, 혁신을 주도할 수 있는 잠재력을 갖춘 Qwen-VL은 멀티모달 AI 시스템의 개발에서 중요한 역할을 할 것입니다.
결론적으로, Qwen-VL은 시각-언어 모델의 발전에 있어서 큰 이정표를 의미합니다. 다양한 벤치마크에서 우수한 성능과 다용도성, 접근성을 갖춘 이 모델은 연구원, 개발자 및 기업에게 강력한 도구가 될 것입니다. 멀티모달 AI 분야가 계속 발전함에 따라, Qwen-VL은 그 미래를 형성하는 데 중요한 역할을 수행할 것입니다.
알리바바에 의한 Qwen-VL의 도입은 시각-언어 AI 분야에서 흥미로운 발전을 의미합니다. 놀라운 기능, 벤치마크 성능, 다양한 응용 분야에 대한 잠재력을 통해, Qwen-VL은 다양한 산업 분야에서 중요한 영향을 줄 것으로 예상됩니다. 연구원과 개발자들이 이 다재다능한 모델의 능력을 탐구하고 활용하는 동안, 멀티모달 AI 분야에서의 혁신과 발전을 기대할 수 있습니다.
최신 LLM 뉴스를 알고 싶으세요? 최신 LLM 리더보드를 확인해보세요!