이제 카펠라 AI 서비스에서 DeepSeek 모델 사용 가능

엔터프라이즈 AI를 위해 더 낮은 TCO로 고급 추론을 활용하세요.

오늘, DeepSeek-R1이 Capella AI 서비스에 통합되어 미리 보기로 제공된다는 기쁜 소식을 알려드립니다! Llama 8B를 기반으로 하는 이 강력한 증류 모델은 개인정보 보호를 준수하면서 고급 추론 기능을 갖춘 에이전트 애플리케이션을 구축하는 능력을 향상시킵니다.

이 블로그에서는 챗봇을 구축하여 엔터프라이즈 검색 및 지식 관리를 개선함으로써 이러한 모델을 활용하는 방법을 보여드립니다. DeepSeek의 강력한 추론 기능을 통해 조직은 개선할 수 있습니다:

• • 법률 및 규정 준수 검토
  • 고객 지원 자동화
  • 기술 문제 해결

이 데모에서는 다음을 사용하고 있습니다. 딥시크 디스틸-라마-3-8B하지만 GA의 Capella AI 서비스는 더 높은 매개변수 변형을 도입하여 기능을 더욱 확장할 계획입니다.

🚀 DeepSeek-R1 테스트에 관심이 있으신가요? 확인 카펠라 AI 서비스 또는 비공개 미리보기.

DeepSeek 모델 이해

증류 접근 방식

딥시크 디스틸-라마-3-8B 를 사용하여 훈련됩니다. 지식 증류에서 대형 교사 모델(DeepSeek-R1) 의 교육을 안내합니다. 더 작고 효율적인 학생용 모델(Llama 3 8B). 그 결과 작지만 강력한 모델 강력한 추론 기능을 유지하면서 계산 비용을 절감할 수 있습니다.

데이터 세트: BEIR을 통한 벤치마킹

다음을 사용하여 모델의 추론 능력을 평가하고 있습니다. BEIR 데이터 세트에 대한 업계 표준 벤치마크입니다. 검색 기반 추론. 데이터 세트는 다음으로 구성됩니다. 75만 문서 다음과 같은 구조로 다양한 도메인에 걸쳐 있습니다:

모델의 능력은 다음을 결정하여 테스트됩니다. 특정 쿼리에 대한 정답이 포함된 문서 찾기를 통해 추론의 힘을 입증했습니다.

시작하기: 카펠라 AI 서비스에 DeepSeek 배포하기

1단계: 문서 수집

이제 Capella AI 서비스를 사용하여 비정형 및 정형 문서에 대한 벡터 임베딩을 생성할 수 있습니다. 벡터화 워크플로우를 배포하기 전에 먼저 BEIR 데이터 세트의 정형 문서를 카우치베이스 컬렉션으로 가져올 것입니다.

검색 및 이벤트 기능을 활성화하여 Couchbase Capella에서 5노드(또는 그 이상!) 운영 데이터베이스 클러스터를 설정하세요. 사전 구성된 다중 노드 배포 옵션을 활용하거나 사용자 정의 구성을 만들 수 있습니다.

클러스터가 배포되면, 클러스터의 가져오기 탭 아래의 데이터 도구 섹션을 클릭하고 가져오기 옵션을 클릭합니다. 대규모 데이터 세트의 경우, 데이터 세트의 cb-import 함수입니다.

운영 클러스터에 추가 버킷, 범위 및 컬렉션을 설정합니다. 나중에 대화 캐시를 위한 저장소로 사용할 것입니다.

2단계: 임베딩 모델 설정하기

Capella AI 서비스 탭의 모델 탭으로 돌아갑니다. 모델 탭에서 모델 서비스 타일을 클릭한 후 다음 옵션을 선택합니다:

3단계: 벡터화 워크플로 설정하기

이제 문서가 수집되었으므로 이 게시물에서 벡터화 워크플로우를 배포하는 방법에 대한 자세한 내용을 참조하세요.

워크플로우의 이름을 지정하고 수집된 문서가 포함된 컬렉션을 지정합니다.

이전 단계에서 배포한 임베딩 모델을 선택합니다.

생성된 벡터가 삽입될 필드의 이름과 그 위에 구축될 인덱스의 이름을 지정합니다:

4단계: DeepSeek 모델 설정하기

Capella AI 서비스 섹션으로 돌아가서 모델 탭을 클릭하고 모델 서비스 타일을 클릭한 후 다음 옵션을 선택합니다:

드롭다운에서 이전에 생성한 운영 데이터베이스 클러스터를 선택하고, 아카펠라를 선택합니다. Small 컴퓨팅 인스턴스와 모델 드롭다운에서 DeepSeek Distill-LLama-3-8B를 선택합니다.

버킷 범위 컬렉션을 선택하고 캐시를 구성하려면 대화형 캐싱 상자.

DeepSeek로 애플리케이션 구축하기

1단계: 애플리케이션이 데이터에 액세스할 수 있도록 설정 구성하기

운영 DB에 있는 문서에 액세스하려면 IP 주소가 화이트리스트에 등록되어 있는지 확인하세요. 이 작업을 수행하려면 다음 페이지로 이동하여 연결 탭에서 이전에 생성한 운영 클러스터를 클릭합니다.

2단계: 애플리케이션 실행

제공된 예제 사용 여기 를 사용하여 운영 데이터베이스에 저장된 BEIR 데이터 세트 문서를 검색한 다음 응답을 생성하는 애플리케이션을 설정합니다. base64로 인코딩된 DB 자격 증명과 모델 엔드포인트를 올바르게 지정해야 합니다. 모델 엔드포인트는 운영 데이터베이스의 AI 서비스 -> 모델 을 클릭한 다음 아래쪽 화살표 버튼을 클릭하면 모델 설정이 표시됩니다.

3단계: DeepSeek-R1-Distill-Llama-8B 테스트하기

모델에 예제 쿼리를 보내고 결과를 확인합니다. 모델의 응답을 확인한 후에는 모델을 통해 전체 데이터 집합을 실행할 수 있습니다.

다음 단계

• • 🚀 DeepSeek-R1 얼리 액세스 받기 - 대기자 명단에 참여하기
  • 📖 DeepSeek 모델에 대해 자세히 알아보기 - DeepSeek 연구 논문
  • 🔗 BEIR 데이터 세트 살펴보기 - BEIR 공식 리포지토리

Capella AI 서비스는 동급 최고의 모델로 AI 기반 애플리케이션을 구축할 수 있도록 도와드립니다. 함께 혁신하세요!