의 주요 매력 중 하나는 문서 데이터베이스 는 문서 구조 또는 스키마의 유연성입니다. 대부분의 경우 문서 스키마의 유연성은 유용합니다. 그러나 문서에 일정한 구조를 갖는 것이 도움이 될 수 있는 상황도 있을 수 있습니다. 이 문서에서는 널리 사용되는 Python 라이브러리를 사용하여 지정된 스키마에 대해 JSON 문서의 유효성을 검사하는 방법을 보여줍니다. pydantic.
문서 유효성 검사는 언제 필요한가요?
NoSQL 데이터베이스 사용에 대한 일반적인 오해는 구조나 문서 스키마가 필요하지 않다는 것입니다. 대부분의 경우 애플리케이션은 데이터의 유효성을 특별히 검증하지 않더라도 데이터에 대해 몇 가지 제약 조건을 가지고 있는 경향이 있습니다. 예를 들어, 문서에 애플리케이션이 기능에 의존하는 일부 필드가 있을 수 있습니다. 이러한 피단적 JSON 필드 중 일부가 누락되면 애플리케이션이 올바르게 작동하지 않을 수 있습니다.
이 문제의 실제 사례 중 하나는 주기적으로 잘못된 데이터를 전송하는 신뢰할 수 없는 다른 애플리케이션에서 데이터를 읽는 애플리케이션일 수 있습니다. 이러한 경우 애플리케이션을 손상시킬 수 있는 문서를 강조 표시하는 것이 현명할 것입니다. 개발자는 다음과 같이 할 수 있습니다. 애플리케이션에서 또는 문서 수준에서.
이 접근 방식에서는 문서 수준에서 애플리케이션 사양과 일치하지 않는 문서를 식별하는 데 도움이 되도록 문서에 대한 JSON-피다틱 스키마를 지정합니다.
JSON 테스트 데이터 생성
저희는 오픈 소스 라이브러리를 사용합니다, Faker를 사용하여 이 튜토리얼을 위한 가짜 사용자 프로필을 생성합니다.
이것이 단일 문서의 구조입니다:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
{ "job": "방사선사, 진단", "회사": "클라인, 딜런, 닐", "거주지": "2232 잭슨 포크스\n테레사 호수, CO 46959", "웹사이트": [ "http://bishop-torres.net/" ], "username": "aabbott", "name": "매디슨 미첼", "주소": "1782 무어 힐 아파트 717\n웨스트 스테파니스타드, NM 75293", "mail": "amberrodriguez@hotmail.com", "전화": { "home": "677-197-4239x889", "모바일": "001-594-038-9255x99138" } } |
깨진 문서를 시뮬레이션하기 위해 휴대폰과 메일 필드를 일부 삭제하여 사용자 프로필의 일부를 수정했습니다. 실제 세계에서는 Couchbase와 같은 문서 데이터베이스에 저장될 이러한 기록을 식별하는 것이 목표입니다.
JSON에서 생성된 파이던트 데이터를 호스팅된 버킷에 로드합니다. 카우치베이스 카펠라 클러스터를 사용하여 가져오기 기능을 테스트하기 위해 기본 제공 웹 콘솔 UI에 추가했습니다. 저는 사용자 이름 필드를 각 문서를 고유하게 식별하는 키로 사용하세요.
JSON 문서에 스키마를 지정하는 방법은 무엇인가요?
사용자 프로필 데이터에서 문서가 애플리케이션에서 다음과 같은 구조를 따를 것으로 예상합니다:
- 필수 필드입니다:
- 사용자 이름
- 이름
- 전화 - "홈" 및 "모바일"에 대한 JSON 요소 포함
- 메일
- 웹사이트 - 배열
- 선택적 필드:
- 회사
- 거주지
- job
- 주소
Pydantic은 파이썬에서 데이터 유효성 검사에 가장 많이 사용되는 라이브러리 중 하나입니다. 스키마를 지정하는 구문은 다음을 사용하는 것과 유사합니다. 파이썬에서 함수에 대한 유형 힌트. 개발자는 모델을 정의하여 스키마를 지정할 수 있습니다. Pydantic에는 다양한 JSON 유효성 검사를 수행할 수 있는 풍부한 기능이 있습니다. 몇 가지 사용자 프로필 문서 사양에 대한 표현을 살펴보겠습니다.
pydantic에서 한 가지 주의해야 할 점은 기본적으로 가능한 경우 유형 변환을 수행하여 데이터 유형을 강제로 변환한다는 것입니다(예: 문자열 '1'을 숫자 1로 변환). 그러나 다음과 같은 옵션이 있습니다. 엄격한 유형 검사 활성화 전환을 수행하지 않습니다.
이 코드 예제에서는 pydantic 구문을 사용하여 UserProfile 스키마의 기본 구성을 볼 수 있습니다:
|
1 2 3 4 5 6 7 8 9 10 11 |
클래스 사용자 프로필(기본 모델): """사용자 프로필 스키마""" 사용자 이름: str 이름: str 전화: 전화 메일: str 회사: 선택 사항[str] 거주지: 선택 사항[str] 웹사이트: 목록[HttpUrl] job: 선택 사항[str] 주소: 선택 사항[str] |
각 필드는 예상 데이터 유형과 함께 지정됩니다. 선택적 필드는 다음과 같이 표시됩니다. 선택 사항. 배열은 목록 키워드 다음에 원하는 데이터 유형을 입력합니다.
그리고 사용자 이름 필드는 문자열이어야 하며 회사 필드는 선택적 문자열입니다. 코드조각의 다른 줄을 살펴보면, 다음과 같이 웹사이트 필드는 유형 목록입니다. HttpUrl - pydantic에서 기본으로 제공하는 다양한 사용자 정의 유형 중 하나입니다. HttpUrl 는 URL이 임의의 문자열이 아닌 유효한지 확인하는 데 사용됩니다. 마찬가지로 다음과 같은 다른 필드도 있습니다. 이메일 를 사용하여 이메일 필드가 유효한 양식인지 확인할 수 있습니다.
를 보면 전화 필드로 표시된 경우 전화 유형은 다음 코드 스니펫에서 정의할 사용자 정의 유형입니다:
|
1 2 3 4 5 6 7 8 9 10 11 |
클래스 전화(기본 모델): """전화번호 스키마""" 홈: str 모바일: str @유효성 검사기("모바일", "home") def does_not_contain_extension(cls, v): """전화번호에 내선 번호가 포함되어 있는지 확인""" 만약 "x" in v: raise 확장 오류(wrong_value=v) 반환 v |
여기서는 전화 는 둘 다 문자열인 두 개의 필드로 구성됩니다: 홈 그리고 모바일. 이것은 내부에서 확인됩니다. 사용자 프로필 모델로 해석하고 사용자 프로필 모델을 포함하는 전화 필드에 홈 그리고 모바일 필드.
Pydantic을 사용하면 또한 콘텐츠 데이터의 유형과 데이터의 존재 여부를 확인합니다. 특정 필드의 유효성을 검사하는 함수를 정의하여 이를 수행할 수 있습니다. 위의 예제에서는 모바일 그리고 홈 필드를 확인하여 확장자를 확인합니다. 확장자가 포함되어 있으면 지원하지 않으며 사용자 지정 오류가 발생합니다. 그러면 이러한 스키마 오류가 피다틱 유효성 검사를 수행하는 사용자에게 표시됩니다.
스키마 정의를 볼 수 있습니다. Model.schema_json() 메서드를 사용합니다:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 |
{ "title": "사용자 프로필", "설명": "사용자 프로필 스키마", "type": "object", "속성": { "username": { "title": "사용자 이름", "type": "문자열" }, "name": { "title": "이름", "type": "문자열" }, "전화": { "$ref": "#/정의/전화" }, "mail": { "title": "메일", "type": "문자열" }, "회사": { "title": "회사", "type": "문자열" }, "거주지": { "title": "거주지", "type": "문자열" }, "웹사이트": { "title": "웹사이트", "type": "array", "items": { "type": "문자열", "minLength": 1, "maxLength": 2083, "format": "uri" } }, "job": { "title": "Job", "type": "문자열" }, "주소": { "title": "주소", "type": "문자열" } }, "필수": [ "username", "name", "전화", "mail", "웹사이트" ], "정의": { "전화": { "title": "전화", "설명": "전화번호 스키마", "type": "object", "속성": { "home": { "title": "홈", "type": "문자열" }, "모바일": { "title": "모바일", "type": "문자열" } }, "필수": [ "home", "모바일" ] } } } |
파이다틱 파이썬 스키마에 대한 JSON 문서 유효성 검사
이제 스키마를 정의했으니 스키마에 대해 문서의 유효성을 검사하는 방법을 살펴보겠습니다.
유효성 검사는 pydantic을 사용하여 수행할 수 있습니다. parse_obj 메서드를 추가합니다. 문서를 사전으로 지정하고 유효성 검사 예외를 확인합니다. 이 경우 Couchbase 쿼리를 사용하여 모든 문서(지정된 한도까지)를 가져와서 하나씩 테스트하고 오류를 보고합니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
비밀번호_인증자 = 비밀번호 인증기(DB_USER, DB_PWD) 클러스터 = 클러스터( CONN_STR, 클러스터 옵션(비밀번호_인증자), ) validation_error_count = 0 쿼리 = f"select profile.* from `{BUCKET}`.{SCOPE}.{COLLECTION} profile LIMIT {DOCUMENT_LIMIT}" 시도: 결과 = 클러스터.쿼리(쿼리) 에 대한 행 in 결과: 시도: 사용자 프로필.parse_obj(행) validation_error_count += 1 예외 유효성 검사 오류 as e: 인쇄(f"문서에서 오류가 발생했습니다: {row['username']}\n", e.json()) 예외 예외 as e: 인쇄(e) 인쇄(f"유효성 검사 오류 수: {validation_error_count}") |
스키마는 문서에서 관찰된 몇 가지 오류를 강조 표시합니다:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
오류 발견 in 문서: 아리아스 [ { "loc": [ "전화", "home" ], "msg": "값은 확장자, \"(932)532-4001x319\""를 얻었습니다., "type": "value_error.extension", "ctx": { "wrong_value": "(932)532-4001x319" } }, { "loc": [ "전화", "모바일" ], "msg": "필드 필수", "type": "value_error.missing" } ] |
ID가 있는 문서 아리아스 홈 필드에 확장자가 있고 전화 → 모바일 필드도 누락되었습니다.
요약
이 사용자 프로필 예시는 JSON 문서에 대한 사용자 정의 스키마를 쉽게 만드는 방법을 보여줍니다. 이 게시물은 또한 Python과 pydantic 모듈의 테스트 및 유효성 검사 기능을 사용하는 방법도 보여줍니다. 하지만 이것은 빙산의 일각에 불과하며 더 많은 것들이 있습니다. 유형 검증할 수 있습니다.
다른 접근 방식도 가능합니다. 예를 들어, 작성 시점에 데이터의 유효성을 검사할 수 있습니다. 이는 여기에서 정의한 스키마를 애플리케이션과 통합하고 Couchbase에 삽입/삽입하기 전에 데이터를 검증하면 아주 쉽게 수행할 수 있습니다.
이 데모의 전체 코드는 다음에서 확인할 수 있습니다. Github. 데이터를 생성하고 스크립트를 실행하는 지침도 여기에서 찾을 수 있습니다.
리소스
- JSON 스키마 유효성 검사 - 이 게시물의 코드를 위한 GitHub 리포지토리
- 카우치베이스 카펠라 – 완전 호스팅형 NoSQL DBaaS
- 파이썬 피다틱 모듈
- 파이썬 페이커 모듈
