LlamaIndex vs LangChain: 강력한 LLM 애플리케이션 프레임워크 비교

소개

자연어 처리(NLP)와 대형 언어 모델(LLM) 분야에서 개발자들은 항상 첨단 애플리케이션을 구축하기 위한 강력한 도구를 찾고 있습니다. LlamaIndex와 LangChain은 이 도메인에서 주목할 만한 두 가지 프레임워크로 부상했습니다. LlamaIndex와 LangChain은 모두 LLM을 사용자 정의 애플리케이션에 통합하기 위한 간소화된 방법을 제공하지만, 접근 방식과 중점에는 차이점이 있습니다. 이 기사에서는 LlamaIndex와 LangChain의 주요 차이점을 깊이 이해하고, 프로젝트에 가장 적합한 프레임워크를 선택할 수 있도록 도와드리겠습니다.

파트 1. LlamaIndex란 무엇인가요?

LlamaIndex는 사용자의 데이터를 LLM에 손쉽게 연결할 수 있는 강력한 데이터 프레임워크입니다. LlamaIndex는 API, 데이터베이스, PDF 등 다양한 소스에서 데이터를 가져와 유연한 데이터 연결기를 제공합니다. 이 비공개 데이터는 LLM이 저수준 모델을 다시 학습시키지 않고 대규모로 액세스하고 해석할 수 있는 최적화된 표현으로 색인화됩니다.

LlamaIndex는 사용자의 개인 데이터에 대한 "기억"을 부여하여 정보가 있는 상황에 맞는 응답을 제공할 수 있게 합니다. 회사 문서에 대한 챗봇, 개인화된 이력서 분석 도구, 특정 지식 영역에 대한 질문에 대답할 수 있는 AI 어시스턴트 등을 구축하려는 경우 LlamaIndex를 사용하면 몇 줄의 코드로도 가능해집니다.

LlamaIndex의 작동 방식

LlamaIndex는 검색 증강 생성(Retrieval Augmented Generation, RAG)이라는 기술을 활용합니다. RAG 시스템은 일반적으로 다음의 두 단계로 구성됩니다:

1. 색인화 단계: 색인화 단계에서는 비공개 데이터가 검색 가능한 벡터 색인으로 효율적으로 변환됩니다. LlamaIndex는 비구조적 텍스트 문서, 구조화된 데이터베이스 레코드, 지식 그래프 등을 처리할 수 있습니다. 데이터는 의미적 의미를 포착한 수치 임베딩으로 변환되어 나중에 빠른 유사성 검색이 가능합니다.

2. 쿼리 단계: 사용자가 시스템에 쿼리를 보내면, 쿼리의 의미적 유사성에 기반하여 가장 관련 있는 정보 조각이 벡터 색인에서 검색됩니다. 이러한 스니펫과 원본 쿼리는 LLM에 전달되어 최종 응답이 생성됩니다. 관련 컨텍스트를 동적으로 가져오면, LLM은 기존 지식만으로는 제공할 수 없는 더 정확하고 사실적인 답변을 출력할 수 있습니다.

LlamaIndex는 RAG 시스템을 구축하는 복잡성의 많은 부분을 추상화합니다. 코드 몇 줄로 시작할 수 있는 고수준 API뿐만 아니라 데이터 파이프라인의 세밀한 맞춤화를 위한 저수준 구성 요소도 제공합니다.

LlamaIndex를 사용하여 이력서 챗봇 구축하기

LlamaIndex의 기능을 설명하기 위해 이력서에 관한 질문에 답변할 수 있는 챗봇을 구축하는 과정을 살펴보겠습니다.

먼저 필요한 패키지를 설치하세요:

pip install llama-index openai pypdf

그다음 이력서 PDF를 로드하고 인덱스를 구축하세요:

from llama_index import TreeIndex, SimpleDirectoryReader
 
resume = SimpleDirectoryReader("경로/이력서").load_data()
index = TreeIndex.from_documents(resume)

이제 자연어를 사용하여 인덱스를 쿼리할 수 있습니다:

query_engine = index.as_query_engine()
response = query_engine.query("직무 제목은 무엇인가요?")
print(response)

쿼리 엔진은 이력서 인덱스를 검색하고 가장 관련성 높은 스니펫을 응답으로 반환합니다. 예를 들면 "직무 제목은 소프트웨어 엔지니어입니다."와 같습니다.

또한 대화 형식으로 진행할 수도 있습니다:

chat_engine = index.as_chat_engine()
response = chat_engine.chat("지난 직무에서 이 사람이 무엇을 했나요?")
print(response)
follow_up = chat_engine.chat("이 프로그래밍 언어를 사용했나요?")
print(follow_up)

챗 엔진은 대화 흐름을 유지하여 주제를 명확히 밝히지 않고도 후속 질문을 할 수 있도록 합니다.

매번 인덱스를 다시 빌드하는 번거로움을 피하기 위해 디스크에 유지할 수도 있습니다:

index.storage_context.persist()

그리고 나중에 다시 로드할 수 있습니다:

from llama_index import StorageContext, load_index_from_storage
 
storage_context = StorageContext.from_defaults(persist_dir="./저장소")
index = load_index_from_storage(storage_context)

챗봇 이상: LlamaIndex 사용 사례

챗봇은 LlamaIndex로 구축할 수 있는 많은 애플리케이션 중 하나에 불과합니다. 다른 예시로는 다음과 같은 것들이 있습니다:

• 긴 문서에 대한 질의응답: 매뉴얼, 법적 계약서, 연구 논문과 같은 문서를 가져와 내용에 대한 질문을 할 수 있습니다.
• 개인화 추천: 제품 카탈로그나 콘텐츠 라이브러리에 대한 인덱스를 작성하고 사용자 쿼리에 기반한 추천을 제공합니다.
• 데이터 기반 에이전트: 데이터베이스, API 및 기타 도구에 액세스하고 복잡한 작업을 완료하는 AI 어시스턴트를 만듭니다.
• 지식 베이스 구축: 비구조적 텍스트에서 엔티티 및 관계와 같은 구조적 데이터를 자동으로 추출하여 지식 그래프를 구축합니다.

LlamaIndex는 모든 종류의 LLM 전원 앱을 구축하기 위한 유연한 도구 세트를 제공합니다. 데이터 로더, 인덱스, 쿼리 엔진, 에이전트 등을 조합하여 사용 사례에 맞는 사용자 정의 파이프라인을 만들 수 있습니다.

LlamaIndex로 시작하기

LlamaIndex로 시작하려면 먼저 패키지를 설치하세요:

pip install llama-index

또한 기본 하위 모델에 액세스하기 위해 OpenAI API 키가 필요합니다. 이를 환경 변수로 설정하세요:

import os

os.environ["OPENAI_API_KEY"] = "여기에 API 키를 입력하세요."

여기에서 데이터를 수집하고 인덱스를 구축할 수 있습니다! LlamaIndex 문서에서는 일반적인 사용 사례에 대한 상세한 가이드와 예제가 제공됩니다.

더 깊이 들어가면 Llama Hub를 탐색할 수 있습니다. Llama Hub는 커뮤니티 기여 데이터 로더, 인덱스, 쿼리 엔진 등이 모인 컬렉션입니다. 이러한 플러그인은 기본 상태이거나 사용자 정의 구성 요소 작성을 위한 출발점으로 사용할 수 있습니다.

### LangChain이란?

LangChain은 언어 모델에 의해 구동되는 응용 프로그램 개발을 위한 강력한 프레임워크입니다. LangChain을 사용하면 자체 데이터를 LLM에 연결하고 데이터 인식형 언어 모델 응용 프로그램을 구축할 수 있습니다. LangChain은 체인에 대한 표준 인터페이스, 다른 도구와의 다양한 통합, 일반적인 응용 프로그램을 위한 단계별 체인을 제공합니다.

LangChain을 사용하면 문서, 데이터베이스, API, 지식 기반 등 다양한 소스에서 데이터를 로드할 수 있습니다. 이 비공개 데이터는 추론 시간에 LLM에서 액세스할 수 있게 되며, 이를 통해 컨텍스트를 기반으로 정보를 전달하는 데 활용할 수 있습니다. 회사 문서를 기반으로 한 챗봇, 데이터 분석 도구, 데이터베이스 및 API와 상호 작용하는 AI 비서 등을 구축하고자 한다면, LangChain을 사용할 수 있습니다.

![LangChain란?](https://d2908q01vomqb2.cloudfront.net/887309d048beef83ad3eabf2a79a64a389ab1c9f/2023/07/13/DBBLOG-3334-image001.png)

### LangChain 작동 방식

LangChain은 몇 가지 주요 개념을 중심으로 설계되었습니다:

1. 프롬프트: 프롬프트는 언어 모델에 출력을 제어하기 위해 제공하는 지침입니다. LangChain은 프롬프트를 구성하고 사용하는 표준 인터페이스를 제공합니다.

2. 모델: LangChain은 다양한 LLM과의 작업을 위한 표준 인터페이스와 쉬운 방법을 제공하여 모델 간 전환을 지원합니다. OpenAI의 GPT-3, Anthropics의 Claude, Cohere의 모델 등과 같은 모델을 지원합니다.

3. 인덱스: 인덱스는 텍스트 데이터가 저장되고 언어 모델에서 액세스할 수 있도록 하는 방식을 말합니다. LangChain은 LLM에 최적화된 여러 인덱싱 기술을 제공합니다. 예를 들어, 메모리 내 벡터 스토어 및 임베딩 등이 있습니다.

4. 체인: 체인은 LLM 및 기타 도구에 대한 호출의 연속입니다. 한 단계의 출력은 다음 단계의 입력이 됩니다. LangChain은 체인 및 재사용 가능한 구성 요소를 위한 표준 인터페이스를 제공합니다.

5. 에이전트: 에이전트는 LLM을 사용하여 어떤 작업을 수행할지와 순서를 결정합니다. LangChain은 작업을 수행하는 데 도구를 활용할 수 있는 선택적인 에이전트를 제공합니다.

이러한 기본 구성 요소를 사용하여 다양한 강력한 언어 모델 응용 프로그램을 만들 수 있습니다. LangChain은 복잡성의 대부분을 추상화하여 응용 프로그램의 고수준 논리에 집중할 수 있도록 합니다.

### LangChain으로 질문-답변 시스템 만들기

LangChain의 기능을 설명하기 위해 문서 세트를 기반으로 간단한 질문-답변 시스템을 구축하는 과정을 따라해보겠습니다.

먼저, 필요한 패키지를 설치하세요:

pip install langchain openai faiss-cpu

그다음, 데이터를 로드하고 인덱스를 생성하세요:

```python
from langchain.document_loaders import TextLoader
from langchain.indexes import VectorstoreIndexCreator

loader = TextLoader('path/to/document.txt')  
index = VectorstoreIndexCreator().from_loaders([loader])

이제 자연어를 사용하여 인덱스를 쿼리할 수 있습니다:

query = "이 문서의 주요 주제는 무엇인가요?"
result = index.query(query)
print(result)

쿼리는 문서를 검색하고 가장 관련성이 높은 스니펫을 응답으로 반환합니다.

또한, ConversationalRetrievalChain을 사용하여 데이터와 대화할 수도 있습니다:

from langchain.chains import ConversationalRetrievalChain
from langchain.chat_models import ChatOpenAI
 
model = ChatOpenAI(temperature=0)
qa = ConversationalRetrievalChain.from_llm(model,retriever=index.vectorstore.as_retriever())
 
chat_history = []
while True:
    query = input("사람: ")
    result = qa({"question": query, "chat_history": chat_history})
    chat_history.append((query, result['answer']))
    print(f"어시스턴트: {result['answer']}")

이를 통해 문서에서 관련 컨텍스트에 액세스 할 수 있는 상호 대화가 가능합니다.

Q&A 이상: LangChain 사용 사례

질문-답변은 LangChain으로 구축할 수 있는 다양한 응용 프로그램 중 하나에 불과합니다. 다른 예시로는 다음과 같은 것들이 있습니다:

• 챗봇: 개인 데이터를 활용하면서 자유로운 대화를 나눌 수 있는 대화형 에이전트 구축
• 데이터 분석: SQL 데이터베이스, 판다 데이터프레임 및 데이터 시각화 라이브러리에 LLM을 연결하여 대화식 데이터 탐색 가능
• 에이전트: 웹 브라우저, API, 계산기 등을 활용하여 오픈 엔드 작업 수행 가능한 AI 에이전트 개발
• 앱 생성: 자연어 사양에서 전체 애플리케이션 자동 생성

LangChain은 강력한 언어 모델 응용 프로그램을 만들기 위해 무수히 많은 방식으로 조합할 수 있는 유연한 구성 요소 세트를 제공합니다. 내장된 체인 및 에이전트를 사용할 수도 있고, 사용자 정의 파이프라인을 만들 수도 있습니다.

LangChain으로 시작하기

LangChain으로 개발을 시작하려면 먼저 패키지를 설치하세요:

pip install langchain

또한 사용하려는 모델과 도구에 필요한 API 키를 설정해야 합니다. 예를 들어, OpenAI 모델을 사용하려면:

import os
os.environ["OPENAI_API_KEY"] = "여기에 API 키를 입력하세요."

이제 데이터를 로드하고 체인을 생성하여 애플리케이션을 구축해볼 수 있습니다! LangChain 문서에서는 다양한 사용 사례에 대한 상세한 가이드와 예제가 제공됩니다.

더 나아가서 LangChain 통합 및 확장성이 더욱 커지는 생태계를 탐색할 수 있습니다. 커뮤니티에서는 LLM을 모든 작업 흐름에 통합하기 쉽도록 무수한 데이터 소스, 도구 및 프레임워크와의 연결자를 구축했습니다.

• 챗봇과 대화 에이전트 개발하기
• 맞춤형 NLP 파이프라인과 워크플로우 구축하기
• LLMs와 외부 데이터 소스 및 API 통합하기
• 다양한 프롬프트, 메모리 및 에이전트 구성 실험하기

LlamaIndex 대 LangChain: 적합한 프레임워크 선택하기

LlamaIndex와 LangChain 사이에서 선택할 때 다음 요소를 고려하세요:

• 프로젝트 요구 사항: 검색 및 검색을 주요로 하는 응용 프로그램의 경우 LlamaIndex가 더 적합할 수 있습니다. 다양한 NLP 작업 및 맞춤형 워크플로우를 위해 LangChain은 더 큰 유연성을 제공합니다.

• 사용의 용이성: LlamaIndex는 좀 더 간소화되고 초보자 친화적인 인터페이스를 제공하며, LangChain은 NLP 개념과 구성요소에 대한 깊은 이해가 필요합니다.

• 맞춤 설정: LangChain의 모듈식 아키텍처는 광범위한 맞춤 설정과 세밀한 조정이 가능하며, LlamaIndex는 검색 및 검색에 최적화된 보다 의견 있는 접근 방식을 제공합니다.

• 생태계와 커뮤니티: 두 프레임워크 모두 활발한 커뮤니티와 성장 중인 생태계를 가지고 있습니다. 지원 및 리소스의 수준을 파악하기 위해 문서, 예제 및 커뮤니티 리소스를 탐색해 보세요.

결론

LlamaIndex와 LangChain은 각각 자체적인 강점과 초점 영역을 가진 LLM을 기반으로 한 애플리케이션을 구축하기 위한 강력한 프레임워크입니다. LlamaIndex는 검색 및 검색 작업에서 뛰어난 성능을 발휘하며, 간소화된 데이터 인덱싱 및 쿼리 기능을 제공합니다. 반면, LangChain은 모듈식 접근 방식을 채택하여 다양한 NLP 애플리케이션을 구축하기 위한 유연한 도구와 구성요소 세트를 제공합니다.

두 프레임워크 사이에서 선택할 때 프로젝트 요구 사항, 사용의 용이성, 맞춤 설정 요구 사항 및 해당 커뮤니티가 제공하는 지원을 고려하세요. 선택하신다면, LlamaIndex와 LangChain 모두 개발자들에게 대용량 언어 모델의 잠재력을 활용하고 혁신적인 NLP 애플리케이션을 만들 수 있는 기회를 제공합니다.

LLM 애플리케이션 개발 여정을 시작하면서, 두 프레임워크를 모두 탐색해 보고, 기능을 실험하고, 강력하고 흥미로운 자연어 경험을 구축하기 위해 그들의 강점을 활용하는 데 망설이지 마세요.