에이전트 AI 애플리케이션

PatientIQ: 카우치베이스에서 환자 360 구축하기

PatientIQ란 무엇이며 왜 구축해야 할까요?

PatientIQ는 카우치베이스 카펠라 AI 서비스를 사용하여 구축된 에이전트형 환자 360입니다. 이는 우리가 해결하고자 하는 문제에 대한 솔루션의 한 예입니다. PatientIQ는 하나의 질문에서 시작되었습니다. 우리 중 얼마나 많은 사람들이 사랑하는 사람이 나쁜 의료 서비스를 경험한 적이 있을까요? 

사람들이 가득한 방에서 이 질문을 던졌을 때의 반응은 놀라웠습니다. 대부분 손을 들었습니다. 그 후 대화를 통해 손을 들지 않은 사람들은 대개 친한 친구 중 한 명이 나쁜 경험을 한 적이 있다는 것을 확인했습니다. 하지만 미국의 의사들은 세계 최고의 의사들이 미국에서 진료하는 등 매우 뛰어납니다. 이를 통해 질문을 다시 생각해볼 수 있었습니다. 전문가의 자질에 문제가 없다면 왜 나쁜 경험이 그렇게 흔할까요?

환자 치료는 데이터 관리의 문제

저희는 개인적인 경험과 연구를 통해 오늘날 의사들이 과중한 업무에 시달리고 있다는 사실을 알게 되었습니다. 점심 식사 전에 세 번째 커피를 마시고 다섯 번째 환자를 진료하는 상황에서 일관되게 우수한 맞춤형 진료를 제공하기는 어려울 수 있습니다. 이 문제를 더 깊이 파고든 결과, 오늘날 의사들이 환자 진료보다 전자 의료 기록(EHR)에 두 배나 많은 시간을 소비한다는 사실이 밝혀졌습니다. 또한 EHR의 30~40%가 예상 데이터 값의 절반을 누락하고 있는 것으로 추정됩니다. 

의사들은 종종 불완전한 데이터를 검색하는 데 너무 많은 시간을 소비합니다. 이는 의사의 자질 문제가 아닙니다. 데이터 관리의 문제입니다. 의사는 똑똑하지만 모든 환자에 대한 모든 세부 사항을 기억할 수는 없습니다. 하지만 진정한 개인 맞춤형 의료를 위해서는 이 모든 데이터가 필수적입니다. 데이터는 환자만큼이나 세심한 관리가 필요하며, 뛰어난 의사처럼 Couchbase는 이러한 특정 데이터 관리 문제를 해결하는 데 매우 적합합니다.

오늘날의 AI는 강력한 데이터 레이어를 필요로 합니다. 범용 모델은 의료 데이터에 대해 학습되지 않았기 때문에 의료 환경에서 허용되지 않는 환각이 발생할 가능성이 높아집니다. 모델을 미세 조정하면 특정 작업에 대한 관련 데이터로 모델을 훈련시키는 데 도움이 될 수 있지만 훈련 프로세스에 시간이 걸리고 결과가 달라질 수 있습니다. 운영 데이터 저장소에서 모델과 상담원에게 올바른 컨텍스트를 제공하는 것은 환각의 위험을 줄이고 효과적인 인텔리전스 계층을 개발하는 데 매우 중요합니다. 이제 이를 가능하게 하는 올바른 데이터 기반 구축에 대한 고려 사항을 살펴보겠습니다.

데이터에서 거꾸로 작업하기. 올바른 데이터 기반 구축

이 데모에 사용된 의사와 환자의 데이터는 인위적인 것입니다. 민감한 정보 사용과 관련된 문제를 피하면서 최대한 사실적으로 표현했습니다. 의료 연구는 실제이며 PubMed의 논문을 사용했습니다. 실제 의료 데이터는 주로 저희가 구축한 JSON 데이터 모델과 유사한 FHIR 형식이며, 수집 및 상담원에게 제공하기 위해 특별한 처리가 필요하지 않습니다.

데이터 구성을 위해 범위와 컬렉션으로 분리된 전체 데이터 세트와 스키마는 GitHub에서 확인할 수 있습니다. 이것은 데모 애플리케이션이지만, 독립적인 검토를 통해 Capella를 HIPAA를 준수하는 방식으로 실행할 수 있으며, 프로덕션 환경에서도 그렇게 하는 것을 목표로 하고 있습니다.

PatientIQ의 경우, 간단한 데이터 구조는 3개의 버킷을 사용합니다:

  1. Scripps: 모든 의사 및 환자 데이터를 포함한 병원 이름.
  2. 연구: 모든 의학 연구 데이터가 포함되어 있습니다.
  3. 상담원 카탈로그: 상담원, 도구, 프롬프트 및 추적에 대한 모든 데이터.

운영 데이터의 경우, Couchbase의 고유한 메모리 우선 아키텍처와 내장 캐시 덕분에 우리가 선택한 Couchbase Python SDK에서 처리하는 생성, 읽기, 업데이트, 삭제 작업을 수행할 때 밀리초 미만의 응답 시간을 달성할 수 있었습니다. 또한 컬렉션 수준에서 다음과 같은 인덱스를 사용했습니다. Scripps.사람.환자`, 를 사용하여 전체 버킷 스캔을 피하고 빠른 쿼리 응답 시간을 활용했습니다. 환자에 대한 수술 데이터를 대시보드와 상담원에게 모두 반환하는 것이 PatientIQ에 중요했습니다. 이를 통해 방문 준비 시간이 짧은 의사가 눈에 띄지 않는 지연 시간으로 적시에 정보를 받을 수 있었습니다.

데모에 집중하기 위해 데이터 세트는 하나의 병원, 의사(닥터 미첼), 5명의 환자로 제한됩니다. 다음은 의사 JSON 문서의 예시입니다:

각 환자마다 특정 폐 질환이 있어 표적화된 의학 연구 기반을 확보할 수 있습니다: 천식, 만성 폐쇄성 폐질환, 폐 섬유증, 낭포성 섬유증 및 기관지 확장증. 다음은 환자 JSON 문서의 예시입니다:

이제 병원(스크립스), 의사(미첼 박사), 환자(예: 제임스 스미스)가 있습니다. 다음은 환자 데이터의 다른 귀중한 소스입니다:

  • 웨어러블
  • 의사가 작성한 방문 기록
  • 환자가 방문에 대해 작성한 개인 메모
  • 환자가 작성한 사전 방문 설문지
  • 예약 세부 정보 및 예정된 환자 방문 일정

오늘날 이러한 데이터는 하나의 디바이스나 시스템에 갇혀 있으며 서로 다른 형식으로 되어 있습니다. 그 결과 데이터를 이동하거나 인사이트를 도출하기가 매우 어려울 수 있습니다. 하지만 이러한 데이터를 한데 모으면 의사가 환자의 건강과 병원 경험을 이해하는 데 사용할 수 있는 고유한 데이터 프로필을 만들 수 있습니다.

Couchbase를 사용하면 별도의 캐싱 계층이나 추가적인 시스템 복잡성을 도입하지 않고도 운영 데이터를 최적으로 저장하고 검색할 수 있습니다. 덕분에 우리 팀은 이러한 운영 데이터를 신속하게 수신해야 하는 기능 개발에 집중할 수 있습니다.

Capella AI 서비스로 강력한 데이터 기반에 인텔리전스 추가하기

오늘날 애플리케이션에 인텔리전스를 추가하려면 별도의 벡터 데이터베이스가 필요하고 신뢰할 수 있는 경계를 벗어난 데이터를 외부 API를 통해 언어 및 임베딩 모델로 전송해야 합니다. 이는 사용할 수 있는 데이터에 대한 장벽이자 기존 애플리케이션의 성능과 보안에 대한 위험으로 작용합니다.

카우치베이스 카펠라 및 AI 서비스는 플랫폼에 내장된 최적화된 벡터 데이터베이스 지원과 공용 인터넷을 통과하는 트래픽 없이 데이터와 공유되는 프라이빗 네트워크 경계 내에서 NVIDIA 최적화된 모델을 배포 및 실행할 수 있는 기능을 통해 개발자가 이러한 장벽을 극복할 수 있는 기능을 제공합니다. PatientIQ의 경우 카펠라 모델 서비스에 배포된 두 가지 보안 모델을 사용할 수 있었습니다.

텍스트 임베딩 모델에 전송할 운영 데이터는 다음과 같이 결정했습니다. 엔비디아/라마-3.2-NV-EMBEDQA-1B-V2:

  1. 방문 노트: 의사가 환자의 방문에 대해 촬영한 사진입니다.
  2. 의학 연구: 폐 건강 상태에 초점을 맞춘 논문.

기존에는 이 데이터를 의미론적 유사성 검색에 사용할 수 있는 텍스트 임베딩으로 변환하려면 사용자 정의 데이터 파이프라인을 구축해야 했습니다. 텍스트를 일관된 형식으로 정규화하기 위한 정리 프로세스. 연구 논문과 같은 긴 형식의 콘텐츠를 처리하기 위한 청킹 전략. 임베딩 모델을 호출하고 결과 벡터를 저장하는 코드. 이렇게 하면 의미 있는 AI 기능이 제공되기까지 개발 주기가 몇 주가 추가될 수 있습니다.

AI 서비스에서는 데이터 처리 서비스를 사용하여 프로세스를 간소화했습니다. 데이터를 벡터화하는 방법을 제어하는 데 사용할 수 있는 데이터 전처리 옵션이 있습니다. 저희는 특정 JSON 필드를 벡터화하고 텍스트 임베딩이 포함된 새로운 필드를 JSON 문서 내부에 반환했습니다. 한 가지 예로, 다음 SQL 쿼리를 사용하여 BigQuery를 사용하여 PubMed에서 의학 연구를 추출했습니다:

이 쿼리는 50개의 폐 연구 논문을 반환한 다음 JSON으로 내보냈습니다. 텍스트의 기사_텍스트 필드를 벡터화하여 새 필드에 저장했습니다. 기사_텍스트_벡터화. Capella iQ를 사용하여 SQL++ 쿼리를 작성하여 5개의 예제 문서를 검색할 수 있습니다. 

워크플로우는 임베딩 파이프라인 프로세스를 자동화하고 그 결과를 Research.Pubmed.Pulmonary 컬렉션에 추가합니다. 선택 사항으로, 워크플로우를 설정할 때 하이퍼스케일 인덱스가 생성됩니다. 애플리케이션이 순수 벡터 검색을 수행하고 단일 벡터 열 인덱싱을 위한 최적화의 이점을 활용하기 때문에 PatientIQ에 하이퍼스케일 인덱스가 설정됩니다. 

의료 데이터는 몇 년 전으로 거슬러 올라갈 수 있고 대규모 의료 시스템의 경우 색인이 수백, 수십억 개의 문서로 늘어날 가능성이 높기 때문에 빠르게 아카이브되지 않는 경우가 많습니다. 하이퍼스케일 인덱스는 대규모 검색 시스템을 미래에 대비하기 위한 훌륭한 선택입니다.

하이퍼스케일 인덱스에는 단일 복제본이 있으며, NVIDIA llama-3.2-nv-embedqa-1b-v2 텍스트 임베딩 모델에서 출력되는 2048개의 차원을 처리하고, 유클리드 제곱 유사도 검색 알고리즘인 L2를 사용합니다. 사용 사례에 따라 네 가지 유사도 알고리즘이 있으며, 크기는 그다지 중요하지 않기 때문에 주로 의미론적 의미에 중점을 두기 때문에 프로덕션에서는 L2에서 코사인으로 변경하는 것을 고려할 수 있습니다.

반전된 파일 인덱스(IVF) 및 SQ8 정량화에 대한 참조를 볼 수 있습니다. 이는 최적의 벡터 검색 성능을 제공하기 위해 돌릴 수 있는 중요한 구성 노브입니다. IVF는 관련 중심점에 가까운 벡터로 비교 횟수를 제한하여 벡터 검색 속도를 높이기 위한 것입니다. 스칼라 양자화(SQ)는 차원을 8비트 정수로 낮추어 검색에 필요한 메모리를 줄이고 부동 소수점 연산보다 계산 비용이 저렴하므로 속도를 향상시킵니다.

PatientIQ의 중요한 점은 복잡한 파이프라인, 구성 또는 별도의 벡터 데이터베이스 없이도 운영 데이터와 함께 벡터 데이터가 최적으로 생성, 저장 및 쿼리된다는 점입니다.

임베딩 모델 외에도 대규모 언어 모델을 배포했습니다. 미스트랄라이/미스트랄-7b-인스트럭트-v0.3. 이 모델은 캐싱, 가드레일 및 탈옥 방지를 위한 추가 구성 옵션과 함께 NVIDIA에 최적화된 환경에서 실행됩니다. 프로덕션 환경에서는 모두 활성화하고 캐싱을 사용하여 LLM 호출 수, 토큰 사용량 및 비용을 줄입니다. 

의료 환경에서 인터넷을 통해 공용 모델 엔드포인트로 데이터를 전송하면 데이터 개인정보 침해의 위험이 높아집니다. 데이터와 추론이 함께 배치된 모델 서비스를 사용하면 기본 데이터를 보호하면서 인텔리전트 기능을 구축할 수 있다는 확신을 가질 수 있습니다.

LLM은 PatientIQ에서 두 가지 방식으로 사용되었습니다:

  1. 대시보드 전체에서 환자 정보를 요약하세요.

모델 서비스 API와 /v1/chat/완성에 대한 엔드포인트를 사용하면 방문 전 설문지에 제공된 환자의 일반 정보 요약과 답변이 환자가 진료실에 오기 전에 의사가 빠르게 이해할 수 있는 간결한 문장으로 변환됩니다.

이는 검색 증강 생성(RAG)의 예이며, 프롬프트에 컨텍스트를 제공하기 위해 지식 베이스로 사용되는 Capella 플랫폼에 저장된 운영 데이터의 이점을 활용합니다. 이러한 유형의 RAG는 PatientIQ 플랫폼 전반에 걸쳐 지능형 요약 기능을 제공하는 데 사용되었으며, 운영 데이터와 상호 작용하는 LLM은 동일한 미국 동부 AWS 리전에서 이를 수행하여 대시보드에 빠른 응답을 제공할 수 있습니다.

2. 기밀 환자 방문 기록에 대한 감정 분석을 수행하는 AI 기능에 연결합니다.

환자 피드백 노트는 의사와의 진료 후 방문에 관한 내용입니다. 메모의 내용은 비공개로 유지되며 의사와 직접 공유되지 않습니다. 대신 Mistral LLM에 연결된 아카펠라 AI 함수가 다음 SQL++와 함께 사용됩니다. 쿼리를 사용하여 노트의 콘텐츠에 대한 감성 분석을 수행합니다. 

여기에는 의료 데이터로 학습된 AWS Bedrock의 전문 모델을 사용할 수 있는 옵션도 있습니다. 이는 AI 함수를 실행할 때 맞춤형 모델 연결을 통해 더 높은 정확도를 보장하는 중요한 방법이 될 수 있습니다.

AI 함수를 사용하면 수동 코드 없이 SQL++ 쿼리를 사용하여 감정 분석과 같은 사전 구축된 AI 작업을 직접 수행할 수 있습니다. 다음은 SQL++ 쿼리입니다:

예를 들어 이 부정적인 감성어 결과를 참조하세요:

그러면 환자가 담당 의사에 대해 느끼는 일반적인 감정이 PatientIQ 프런트엔드에 입력됩니다.

이 구현은 환자의 마지막 방문 피드백을 제공하여 의사가 다음 진료에 임할 때 환자의 기분을 파악할 수 있도록 했습니다. 의사는 부정적인 감정을 보이는 환자를 더욱 주의 깊게 치료하고 그에 따라 다음 방문에 적응할 수 있습니다.

인텔리전스에 대한 조치 취하기. 에이전트 환자 360 구축

소프트웨어의 다음 시대는 에이전트가 될 것입니다. 소프트웨어는 결과가 사용자에게 전달되기 전에 데이터에 대해 조치를 취할 수 있게 될 것입니다. 즉, 소프트웨어가 데이터에 대해 스마트한 작업을 수행하여 물리적 세계에서 우리가 직접 조치를 취하는 데 사용할 수 있는 보다 유용한 결과물을 얻을 수 있게 됩니다. 

데모에서 주의해야 할 중요한 사항은 외부 LLM을 사용했지만, 프로덕션 환경에서는 Capella의 모델 서비스에서 도구 호출을 지원하는 LLM으로 교체될 것이라는 점입니다. 신뢰할 수 있는 환경 외부로 환자 데이터를 전송하고 싶지 않았고, 외부 API와 상호 작용할 때 지연 시간 문제가 관찰되었기 때문입니다. 

에이전트 작업을 통해 의사의 사소한 행정 업무를 제거할 수 있다면 결과적으로 환자에게 조치를 취하는 데 더 많은 시간을 할애할 수 있습니다. 저희는 4명의 에이전트를 선정하여 유용한 작업의 예를 보여주었습니다:

1. 폐 연구원

이 에이전트는 환자의 상태(예: 천식)를 가져와 의미론적 유사성 검색을 수행하여 해당 상태와 관련된 관련 연구 논문을 반환합니다. 이 프롬프트는 모델 서비스의 LLM을 사용하여 연구를 요약하고 대시보드에 표시합니다. 그러면 의사는 보다 구체적인 질문을 할 수 있습니다. 질문은 벡터화되어 의미적 유사성 검색을 통해 의사의 임상 질문과 가장 관련성이 높은 답변을 반환할 수 있습니다. 답변은 답변을 생성하는 데 사용된 소스와 함께 반환됩니다.

웹 검색 도구를 사용하여 새로운 의학 연구를 검색하고 상위 3개의 웹 결과에서 관련 논문을 반환했습니다. 의사는 출처를 확인한 다음 신뢰할 수 있는 의학 연구 데이터베이스에 추가하도록 선택할 수 있습니다. 논문이 추가되면 해당 논문은 벡터화됩니다. 새 논문은 Capella에 유지되며 향후 문의에 답변할 수 있도록 제공됩니다.

질문, 답변 및 평가 점수는 이 기능의 향후 성능을 평가하고 개선하는 데 사용할 수 있도록 Capella에 저장됩니다.

에이전트는 신뢰할 수 있는 연구 기반에서 질문에 대한 빠른 요약과 답변을 제공하여 의사가 환자의 상태에 대한 관련 문헌을 검색하는 데 드는 시간을 절약해 줍니다.

2. 문서 노트 검색기

이 에이전트는 의사가 환자와의 방문 중 및 방문 후에 작성한 메모를 검색합니다. 의사는 검색에서 질문을 통해 이전 방문에서 정보를 검색하여 더 많은 정보에 입각한 결정을 내릴 수 있습니다. 메모는 PatientIQ로 작성되고 벡터화되어 Capella에 저장됩니다. 의사가 질문을 하면 의미적으로 유사한 결과가 모델 서비스의 LLM에 컨텍스트로 반환되어 답변으로 전달됩니다.

이 에이전트는 환자 진료 전에 중요한 질문을 하고 구체적인 답변을 바로 제공함으로써 의사가 메모를 검색하고 관련 없는 콘텐츠를 읽는 데 드는 시간을 절약해 줍니다.

3. 사전 방문 요약기

이 상담원은 환자의 방문 전 문진표를 검토하고 의사가 환자와의 예정된 진료 전에 요약본을 볼 수 있도록 합니다.

설문지의 풍부한 세부 정보는 Capella가 모델 서비스에서 LLM에게 제공하는 컨텍스트로 사용되며, 필수적인 세부 정보는 의사에게 제공되어 간단하게 사용할 수 있습니다. 예를 들어, 예정된 진료 예약에 대한 상위 5가지 환자 질문과 환자가 현재 처방받은 약물이 함께 제공됩니다. 매번 환자 방문 전에 전체 문진표를 읽는 것은 특히 하루 환자 방문 횟수가 늘어날수록 시간이 많이 소요될 수 있습니다.

4. 웨어러블 얼러터

이 에이전트는 Apple Watch와 같은 기기에서 환자의 30일간의 웨어러블 데이터를 검토하고 우려할 만한 추세가 있으면 의사에게 알려줍니다. 이 에이전트는 환자의 상태를 파악하여 천식 환자와 같이 분석을 수행할 때 주의해야 할 사항에 대한 지침을 제공합니다.

위 그림은 환자의 산소 포화도가 90% 이하로 떨어졌을 때 발생하는 위험 경고를 보여주는 예시입니다. 의사는 주의해야 할 임계값을 설정할 수 있으며, 에이전트는 데이터를 지속적으로 모니터링할 수 있습니다. 웨어러블 데이터는 의사가 맞춤형 치료를 제공하는 데 사용할 수 있는 환자 건강의 최근 스냅샷을 제공합니다.

LangGraph ReAct 에이전트. 카우치베이스 에이전트 카탈로그의 프롬프트, 도구 및 트레이스

모든 에이전트는 LangGraph를 오케스트레이션 프레임워크로 사용하며, 이러한 방식으로 작동하는 간단한 ReAct 에이전트입니다.

주요 차이점은 도구, 프롬프트 및 추적이 Couchbase의 에이전트 카탈로그에서 처리된다는 점입니다. 프롬프트와 도구는 다음을 사용하여 만들 수 있습니다. 에이전트 추가 를 사용할 수 있습니다. 에이전트 카탈로그는 SQL++ 쿼리, 시맨틱 검색 및 HTTP 요청을 에이전트가 검색할 수 있는 Python 함수로 변환합니다. 

PatientIQ의 경우 28개의 도구와 5개의 프롬프트가 로컬 및 Capella에 저장되어 있습니다. 문장 변환기뿐만 아니라 ll-MiniLM-L12-v2 로컬 임베딩 모델을 사용하여 프롬프트와 도구를 텍스트 임베딩으로 변환합니다. 

상담원 카탈로그를 사용하면 상담원이 의미적 유사성을 사용하여 관련 도구와 프롬프트를 찾을 수 있습니다. 이렇게 하면 수많은 프롬프트와 툴을 다루다가 키워드만으로는 찾지 못할 때 상담원의 혼란을 줄일 수 있습니다. 

관리 직원은 상담원이 사용하는 프롬프트와 도구를 감독할 수 있으므로 무단 도구 사용의 위험을 줄이고 눈에 보이지 않는 조치가 취해지지 않도록 할 수 있습니다. 사람의 승인을 추가하는 옵션도 있습니다. 

에이전트와 통합되어 생성된 도구와 프롬프트를 사용하여 카탈로그를 색인화하고 Capella에 게시할 수 있습니다. Git을 보고, 확인하고, 버전 기록을 검토할 수 있습니다.

Capella에서 프롬프트와 도구를 저장, 버전 관리 및 검색하면 프로젝트, 팀 및 에이전트 전반에서 개발 프로세스를 더 간편하게 운영할 수 있습니다. 

에이전트가 의사의 조치를 대체할 수는 없지만, PatientIQ가 데이터 기반에 따라 조치를 취할 수 있게 해줍니다. 그 결과 의사는 환자에게 진정으로 중요한 조치에 집중할 수 있는 시간을 더 많이 확보할 수 있습니다.

비결정론으로 작업하기. 에이전트 문제 해결 및 평가하기

에이전트 기능의 한 가지 과제는 동일한 입력이 다른 출력을 생성하거나 다른 경로를 통해 도달할 수 있는 비결정성을 도입하는 것입니다. 이는 소프트웨어를 보다 인간과 유사하게 만들어 사용자 경험에 도움이 될 수 있지만 예상치 못한 결과를 초래할 수도 있습니다. 검색 증강 생성(RAG)을 사용하여 프롬프트에 컨텍스트를 제공하는 것 외에도 비결정적 에이전트의 단점을 해결하기 위해 두 가지 방법을 추가로 시도했습니다. 

  1. 상담원 추적기 및 SQL++ 쿼리를 사용하여 예기치 않은 상담원 동작 문제를 해결하세요.

저희 팀이 경험한 한 가지 사례는 폐 연구자가 연구 논문을 존재하지 않는 참고 자료로 반환하는 것이었습니다. 처음에는 애플리케이션 코드에서 왜 이런 일이 발생하는지 이해하지 못했습니다. 그러다가 이 특정 에이전트에 대한 에이전트 추적기를 확인하여 툴 호출로 범위를 좁힐 수 있었습니다.

저희의 문서 검색 도구가 도구 결과를 반환하지 않는 것을 발견했습니다. 애플리케이션 코드로 돌아가서 키워드 검색을 사용할 때 잘못된 키워드를 사용한 것을 확인할 수 있었습니다. 에이전트가 우리가 만든 도구를 사용하지 않고 존재하지 않는 연구 논문을 검색하고 있었던 것입니다. 

이 문제가 발생했을 때 로그와 상담원 세션을 확인하여 SQL++ 쿼리로 추가 조사를 수행했습니다. 그 결과 오작동하는 에이전트의 문제를 신속하게 해결하고 문제를 해결할 수 있었습니다.

2. 라가스를 사용하여 자체 상담원 평가 시스템을 구축하여 채점 시스템을 마련합니다.

PatientIQ에서는 동일한 상담원 플로우를 통해 예시 프롬프트를 사용하여 각 상담원에 대한 평가를 실행한 다음 라가 및 LLM 등급 메트릭을 사용하여 기대치 대비 결과를 점수화했습니다. 프롬프트, 툴, 검색 로직이 발전함에 따라 시간에 따른 변화를 비교하기 위해 답변 품질, 근거성, 관련성 등의 자체 점수 차원을 마련했습니다. 다음은 폐 연구원을 위한 지표의 예입니다:

  • 임상적 관련성: 답변이 질문 및 환자 상황과 얼마나 임상적으로 관련이 있고 반응이 좋은지 확인합니다.
  • 실행 가능성: 임상의에게 다음 단계와 임상적 추론이 얼마나 실행 가능한지 알아보세요.
  • 증거 근거: 답변이 증거에 얼마나 잘 근거를 두고 있으며 근거 없는 주장을 피하고 있는지 여부. 허위 인용에 대한 벌점.

임상 관련성은 상담원이 임상 질문에 대한 답변의 증거로 꾸며낸 연구 논문을 제출하는 문제가 확인된 후 도입되었습니다. 이 문제가 해결된 후 근거 근거 점수가 개선되었습니다.

프로덕션 및 대규모의 PatientIQ를 향해. 왜 카우치베이스에서 구축해야 할까요?

PatientIQ는 운영 데이터, 벡터 검색, 모델 및 에이전트 도구가 단일 플랫폼에서 작동할 때 어떤 일이 가능한지 보여줍니다. 여러 데이터베이스, 외부 벡터 저장소, 보안 경계 외부로 개인 데이터를 전송하는 공용 API 호출을 함께 연결할 필요가 없습니다. 모델과 데이터는 동일한 프라이빗 네트워크 내에서 작동할 수 있습니다. 쿼리는 메모리 우선 속도로 실행됩니다. 프롬프트와 도구는 중앙에서 버전이 관리됩니다. 이 시스템은 수십억 개의 문서와 벡터로 수평적으로 확장할 수 있으며, 지연 시간이 짧은 액세스를 유지하고 총소유비용(TCO)을 낮춰 운영할 수 있습니다.

비즈니스에 미치는 영향은 상당합니다. 의사는 파편화된 EHR 시스템을 탐색하느라 낭비하던 시간을 절약할 수 있습니다. 환자는 보다 세심하고 상황에 맞는 진료를 받을 수 있습니다. 병원은 관리 오버헤드와 잠재적 과실 위험을 줄일 수 있습니다. 상호 작용의 양쪽 모두에서 만족도가 향상됩니다. 가장 중요한 것은 의사가 진단을 내리고, 공감을 제공하고, 치료를 제공하는 등 인간만이 할 수 있는 일에 더 많은 시간을 할애할 수 있다는 점입니다.

오늘날 의료 업계는 유능한 전문가 부족으로 어려움을 겪고 있습니다. 파편화된 데이터로 인해 어려움을 겪고 있습니다. AI는 고장난 인프라에 단순히 볼트를 끼워 맞춘다고 해서 해결되지 않습니다. 강력한 데이터 기반 위에 구축될 때 인간의 전문성을 강력한 방식으로 증폭시킬 수 있습니다. 소프트웨어의 미래는 에이전트입니다. 의료 서비스의 미래는 데이터 기반입니다. PatientIQ는 이 두 가지 아이디어가 AI를 위한 운영 데이터 플랫폼인 Couchbase와 만났을 때 발생하는 결과물입니다.

신규 시장 진입자들이 여전히 데이터 지속성을 실험하고 있지만, Couchbase는 이미 많은 의료 AI를 위해 실전에서 검증된 데이터 기반입니다. 아트렉스, BD, 마카비 헬스케어 서비스 등 업계 리더들이 신뢰하는 카우치베이스 플랫폼은 1ms 미만의 응답 시간부터 오프라인 지원 환자 앱과 실시간 수술 데이터까지 모든 것을 처리합니다. 단편화된 데이터와 생명을 구하는 치료 사이의 간극을 메워주는 Couchbase는 차세대 의료 혁신에 필요한 입증된 안정성과 성능을 제공합니다.

참조

카우치베이스

LangGraph

PatientIQ

 

 

 

이 문서 공유하기
받은 편지함에서 카우치베이스 블로그 업데이트 받기
이 필드는 필수 입력 사항입니다.

작성자

게시자 제이크 우드

댓글 남기기

카우치베이스 카펠라를 시작할 준비가 되셨나요?

구축 시작

개발자 포털에서 NoSQL을 살펴보고, 리소스를 찾아보고, 튜토리얼을 시작하세요.

카펠라 무료 사용

클릭 몇 번으로 Couchbase를 직접 체험해 보세요. Capella DBaaS는 가장 쉽고 빠르게 시작할 수 있는 방법입니다.

연락하기

카우치베이스 제품에 대해 자세히 알고 싶으신가요? 저희가 도와드리겠습니다.