Qdrant가 무엇인가요? 이 백터 검색 엔진을 이해하는 궁극적인 안내

Name

Jennie Rose

Published on 2024. 4. 30.

백터 검색 엔진에 대한 소문은 들어봤지만, 왜 다른 엔진과 차별화되는지 궁금하셨던 적이 있나요? Qdrant가 등장하면서 고차원 데이터 검색의 영역에서 게임 체인저 역할을 하고 있습니다. 이 기사에서는 Qdrant가 무엇이고, 어떻게 작동되며, 왜 신경 써야 하는지에 대해 명확하게 설명하겠습니다.

데이터 과학자, 개발자, 또는 최신 검색 기술에 관심이 있는 모든 분들을 위한 가이드입니다. 우리는 기술적인 측면을 자세히 알아보고, 다른 엔진인 Faiss와 비교하며, 설치와 사용법에 대한 안내도 제공할 것입니다. 그러면 시작해봅시다!

최신 LLM 뉴스를 배우고 싶으세요? 최신 LLM leaderboard를 확인해보세요!

Qdrant가 무엇인가요?

기술적으로 말해, Qdrant는 무엇인가요?

Qdrant는 고차원 데이터를 처리하기 위해 설계된 오픈 소스 백터 검색 엔진입니다. 이 엔진은 HNSW 그래프와 Product Quantization과 같은 고급 알고리즘을 사용합니다. 이러한 알고리즘으로 인해 대용량 데이터셋을 다룰 때에도 백터를 색인화하고 검색하는 데에 매우 효율적입니다.

• HNSW 그래프: 효율적인 색인화를 위해 사용됩니다. 이를 통해 Qdrant는 고차원 데이터를 빠르게 탐색하여 관련된 결과를 찾는 시간을 단축할 수 있습니다.

• Product Quantization: 이는 백터를 압축하는 기술입니다. 이를 통해 엔진이 빠르기만 한 것이 아니라 메모리도 효율적으로 사용할 수 있습니다.

일반인에게 Qdrant는 무엇인가요?

Qdrant를 디지털 콘텐츠의 슈퍼 스마트한 정리자로 생각해보세요. 예를 들어, 거대한 사진, 기사, 노래 컬렉션이 있다고 가정해봅시다. 이 중에서 특정한 것을 찾는 것은 마치 바늘을 건초더미에서 찾는 것과 같을 겁니다. Qdrant는 독특한 "지능"을 사용하여 원하는 것을 빠르게 찾아줍니다. 이는 마치 당신이 가진 컬렉션을 아는 당신과 같거나 더 잘 알고 있는 개인 비서가 있는 것과 같습니다!

Qdrant를 독특하게 만드는 요소

• HNSW 그래프: 이 그래프는 고차원 데이터를 효율적으로 색인화하기 위한 데이터 구조의 한 형태입니다. 이로 인해 검색 과정의 계산 복잡성이 줄어들어 빠른 검색이 가능해집니다.

• Product Quantization: 이 기법은 데이터베이스 내의 백터를 압축하는 것입니다. 파일을 압축하는 것과 같습니다. 내용은 동일하지만 공간을 덜 차지합니다. 이는 속도를 희생하지 않고 대용량 데이터셋을 처리하는 데에 중요합니다.

• 의미론적 검색: 이는 쿼리의 문맥과 뉘앙스를 이해하는 능력을 말합니다.

기존의 검색 엔진은 키워드 기반 검색에 한정되어 있습니다. 그러나 Qdrant는 의미론적 검색을 사용합니다. 이는 단순히 사용한 단어뿐만 아니라 쿼리의 의미를 이해합니다.

예를 들어, "Apple"이라는 검색어로 검색한다면 키워드 기반 검색은 과일과 기술 회사와 관련된 결과를 가져올 수 있습니다. 의미론적 검색은 문맥을 이해하고 더 관련성 높은 결과를 제공할 수 있습니다.

Qdrant는 다음과 같은 면에서 특별합니다:

• 오픈 소스: 오픈 소스로 개발에 누구나 기여할 수 있습니다. 이는 혁신과 투명성을 장려하는 커뮤니티 주도 환경을 만들어냅니다.

• 효율성: Qdrant는 빠르고 정확한 검색 결과를 제공하기 위해 설계되었습니다. 고급 알고리즘의 사용으로 속도와 신뢰성 면에서 독보적인 성능을 보여줍니다.

Qdrant 대 Faiss: 성능 비교

백터 검색 엔진 영역에서 Qdrant와 Faiss는 종종 함께 평가됩니다. 그러나 통일된 기준이 없어 명확한 비교를 제시하기는 어렵습니다. 이 분석은 Qdrant가 Faiss와 다른 경쟁 엔진에 어떻게 대비되는지에 대해 기술적이고 데이터 기반으로 접근합니다.

다음 표는 벤치마크 테스트에서의 주요 성능 지표입니다. 각 엔진은 다른 설정으로 'deep-image-96-angular' 데이터셋을 사용하여 테스트를 진행했습니다.

파라미터 설명:

1. 업로드 시간: Qdrant는 중간 업로드 시간이 845.78초로 Weaviate보다는 빠르지만 Milvus보다는 느립니다.

2. 인덱싱 시간: Qdrant의 업로드 및 인덱싱을 위한 총 시간은 8959.44초로, 테스트된 엔진 중 가장 높은 값을 보입니다.

3. 대기 시간: Qdrant는 단 0.024초의 대기 시간으로 우수한 성능을 보이며, 다른 엔진들을 훨씬 능가합니다.

4. 초당 요청 수 (RPS): Qdrant는 RPS 1541.86으로 높은 처리량을 보여줍니다.

5. 정밀도: Qdrant와 Milvus 모두 높은 정밀도 점수를 가지고 있으며, Qdrant는 0.96이고 Milvus는 0.97입니다.

6. P95와 P99 지연 시간: Qdrant는 P95와 P99 지연 시간이 가장 낮아지므로 성능의 일관성이 더 좋습니다.

데이터로부터 얻은 기술적 통찰:

• Qdrant는 검색 성능을 최적화하기 위해 hnsw_ef 매개변수가 64로 설정된 HNSW(Hierarchical Navigable Small World) 그래프를 사용합니다.

• Weaviate는 더 높은 지연 시간과 낮은 RPS를 설명할 수 있는 256으로 설정된 다른 ef 매개변수를 사용합니다.

• Milvus는 0.97의 높은 정밀도 점수를 달성하기 위해 128로 설정된 ef 매개변수를 사용합니다.

데이터를 기반으로 한 결과, Qdrant는 지연 시간 및 처리량(RPS) 측면에서 강력한 성능을 보여줍니다. 그러나 업로드 및 인덱싱에 시간이 더 걸립니다. 높은 정밀도 점수 또한 유사도 검색 작업에 대한 신뢰성 있는 선택으로 만들어줍니다.

Qdrant 설치 방법: 포괄적인 가이드

Docker를 사용하여 Qdrant 설치하기

Docker는 컨테이너화에 대한 인기 있는 플랫폼이며, Qdrant를 쉽게 설치하고 실행하는 가장 쉬운 방법 중 하나입니다. 아래는 단계별 가이드입니다:

1. Docker 설치: Docker가 이미 설치되어 있지 않은 경우 공식 웹사이트에서 다운로드하고 설치합니다.

2. Qdrant 이미지 가져오기: 터미널을 열고 다음 명령을 실행하여 최신 Qdrant 이미지를 Docker Hub에서 가져옵니다.

docker pull qdrant/qdrant

3. Qdrant 컨테이너 실행: 가져온 이미지를 기반으로 새 컨테이너를 시작하려면 다음을 실행합니다.

docker run -p 6333:6333 qdrant/qdrant

4. 설치 확인: Qdrant가 실행 중인지 확인하려면 새 터미널을 열고 다음을 실행합니다.

curl http://localhost:6333

JSON 응답을 받으면 Qdrant 설치가 성공한 것입니다.

클라우드에서 Qdrant 설치하기

Qdrant Cloud는 인프라를 관리하지 않으려는 사용자를 위한 관리형 서비스를 제공합니다. 시작하는 방법은 다음과 같습니다:

1. 가입: Qdrant Cloud 웹사이트에 접속하여 계정을 생성합니다.

2. 인스턴스 생성: 화면의 지침에 따라 새 Qdrant 인스턴스를 설정합니다.

3. API 키: 인스턴스가 생성된 후 API 키와 엔드포인트가 제공됩니다. 이를 안전하게 보관합니다.

4. 인스턴스 테스트: API 키를 사용하여 테스트 쿼리를 수행합니다. 성공적인 응답은 클라우드 인스턴스가 작동 중임을 의미합니다.

Python을 사용하여 Qdrant 설치하기

Python 개발자를 위해 Qdrant는 Python 클라이언트 라이브러리를 제공합니다. 설치하는 방법은 다음과 같습니다:

1. Python 및 pip 설치: 이미 설치되어 있지 않은 경우 Python과 pip를 다운로드하여 설치합니다.

2. Qdrant 클라이언트 설치: 터미널을 열고 다음을 실행합니다.

pip install qdrant-client

3. Python 스크립트: Qdrant와 상호 작용하기 위해 다음 샘플 코드를 사용할 수 있습니다.

from qdrant_client import QdrantClient
client = QdrantClient(host='localhost', port=6333)

Qdrant 튜토리얼: Qdrant로 질문 및 답변 시스템 생성하기

단계 1: 변수 초기화 및 라이브러리 가져오기

코드에 앞서, 변수를 초기화하고 필요한 라이브러리를 가져옵니다.

import openai
from qdrant_client.http.models import PointStruct
 
points = []
i = 1

단계 2: 텍스트 청크를 순환

각 텍스트 청크를 순환하면서 임베딩을 생성합니다. 텍스트 청크는 이전에 생성되어 chunks라는 목록에 저장되어 있어야 합니다.

for chunk in chunks:
i += 1

단계 3: 임베딩 생성

루프 내에서 OpenAI의 ada002 모델을 호출하여 각 텍스트 청크의 임베딩을 생성합니다.

response = openai.Embedding.create(
input=chunk,
model="text-embedding-ada-002"
)
embeddings = response['data'][0]['embedding']

단계 4: 임베딩 저장

임베딩을 생성한 후, ID와 원본 텍스트와 함께 목록에 저장합니다.

points.append(PointStruct(id=i, vector=embeddings, payload={"text": chunk}))

ada002를 사용하는 이유

ada002 모델은 텍스트의 의미적 미묘함을 포착하는 것을 목표로한 모델로, 의미 검색이나 Q&A 시스템과 같은 응용에 이상적입니다. 텍스트 청크를 입력값으로 받아 해당 텍스트의 의미를 포착한 숫자 벡터를 출력합니다.

단계 5: Qdrant 클라이언트 초기화

먼저, 적절한 호스트와 API 키를 사용하여 Qdrant 클라이언트를 초기화합니다.

from qdrant_client import QdrantClient
 
qdrant_client = QdrantClient(
host="<호스트명>",
api_key="<API_키>",
)

단계 6: 컬렉션 생성 또는 재생성

Qdrant에 임베딩을 저장할 새 컬렉션을 생성합니다. 컬렉션이 이미 존재하는 경우 재생성할 수 있습니다.

qdrant_client.recreate_collection(
collection_name="mycollection",
vectors_config=models.VectorParams(size=1536, distance=models.Distance.COSINE),
)

단계 7: 임베딩 인덱싱

이제 방금 생성한 컬렉션에 임베딩을 인덱싱합니다.

operation_info = qdrant_client.upsert(
collection_name="mycollection",
wait=True,
points=points
)

인덱싱에 Qdrant 사용하는 이유

Qdrant는 확장된 필터링 지원을 위해 특화된 강력한 제품 기반 서비스를 제공합니다. 해당 API는 포인트(이 경우 임베딩)를 저장, 검색 및 관리하기 위해 편리합니다. Qdrant에 임베딩을 인덱싱함으로써 사용자 입력을 기반으로 효율적인 유사도 검색을 수행할 수 있습니다.

결론

요약하면, 데이터 기반 분석에서 Qdrant는 지연 시간, RPS 및 정밀도와 같은 주요 성능 지표에서 뛰어납니다. 데이터 업로드 및 인덱싱에는 더 많은 시간이 걸릴 수 있지만, 이로 인해 고처럼 높은 처리량과 낮은 지연 시간의 엔진이 정확한 결과를 전달할 수 있습니다. 이러한 속성들은 검색 성능과 결과 정확성을 우선시하는 조직에게 매력적인 선택지가 됩니다.

자주 묻는 질문 (FAQ)

1. Qdrant는 지연 시간과 RPS 측면에서 어떤 점에서 다른 엔진과 차별화되나요? Qdrant는 탐색을 위해 최적화된 Hierarchical Navigable Small World (HNSW) 그래프를 사용하여 지연 시간이 작고 RPS가 높습니다. 특히 hnsw_ef가 64로 설정된 엔진 매개변수는 이러한 성능을 달성하기 위해 조정되었습니다.

2. 데이터 업로드 및 인덱싱에 Qdrant가 더 오래 걸리는 이유는 무엇인가요?

Qdrant에서 데이터 업로드 및 인덱싱에 소요되는 시간은 검색 쿼리에서의 고성능을 위한 트레이드 오프입니다. 엔진은 최적화된 인덱스 구조를 만드는 데 중점을 두며, 시간이 오래 걸리지만 이후에 더 빠르고 정확한 검색 결과를 가져옵니다.

3. Qdrant의 정밀도는 다른 엔진과 어떻게 비교되나요?

Qdrant의 정밀도 점수는 0.96으로, Milvus의 0.97과 비교할 수 있습니다. 이는 Qdrant가 유사도 검색 작업에 매우 신뢰할 수 있으며 대부분의 시간에 정확한 결과를 반환한다는 것을 나타냅니다.

4. Qdrant는 대규모 배포에 적합한가요?

높은 RPS와 낮은 지연 시간을 갖기 때문에 Qdrant는 대규모 배포에 적합합니다. 고처럼, 조직은 데이터 파이프라인을 계획할 때 더 오래 걸리는 업로드 및 인덱싱 시간을 고려해야 합니다.

최신 LLM 뉴스를 알아보고 싶으세요? 최신 LLM 리더보드를 확인하세요!