모든 모델에는 책임자가 있습니다. 모든 변경 사항은 증명됩니다.
보험료 산출, 지급준비금, 클레임 및 사기 탐지 모델은 지정된 책임자와 함께 등록됩니다. 새 버전은 챔피언 모델 옆에서 챌린저 모델로 구동되며, 당일 생성된 증빙 자료를 바탕으로 작성자가 아닌 다른 담당자가 승인하는 승격 게이트(promotion gate)를 통과해야만 실제 운영에 반영됩니다. 검증 문서(dossier)는 기억에 의존해 작성하는 것이 아니라 기록으로부터 자동 취합됩니다.
모든 모델에는 그에 대해 책임을 지는 담당자가 있습니다.
HONESTAS는 MLflow, SageMaker 또는 자체 구축 시스템을 포함한 모든 모델 레지스트리를 읽어 하나의 통합 등록부로 관리합니다. 책임자가 지정되지 않은 모델은 의사결정에 사용할 수 없습니다.
- 각 모델의 책임자, 목적, 데이터 및 사용 허용 범위
- 학습 및 테스트에 사용된 데이터와 함께 모든 버전 기록 보존
- 실제 건에 대한 드리프트 상시 감지 및 변동 시 책임자에게 알림
- 봉인된 모든 의사결정에 사용된 모델 버전 명시
| 모델 | 역할 | 드리프트(Drift) |
|---|---|---|
| 개인용 자동차 GLM v6 | 챔피언 | 안정 |
| 개인용 자동차 GLM v7 | 이의제기 | 안정 |
| 클레임 긴급도 2026.07 | 챔피언 | 드리프트 발생 |
| 사진 손상 판독 | 챔피언 | 안정 |
| 해안 폭풍 요율 산출 | 챔피언 | 안정 |
| 공모 사기 징후 | 챔피언 | 안정 |
10월 9일 이후 폭풍 관련 클레임 증가. 금요일까지 Sara의 검토 요청됨.
- 책임자
- 지정된 책임자
- 검증 시점
- 당일, 매 실행 시
- 사용 범위
- 승인된 영역에 한함
당일 생성되는 증적. 연말에 사후 재구성하지 않습니다.
새 버전은 기존 모델을 대체하기 전에 실제 건을 대상으로 나란히 실행되어 그 타당성을 입증해야 하며, 이 과정에서 외부로 발송되는 내역은 없습니다. 모든 실행에는 시드(seed)가 부여되어 언제든 동일하게 재현할 수 있습니다.
등록
새 버전은 책임자, 학습 데이터, 사용 목적과 함께 등록됩니다. 등록되지 않은 모델은 사용할 수 없습니다.
섀도우 실행
동일한 건에 대해 챔피언 모델 옆에서 챌린저로 실행됩니다. 결과는 기록되지만 고객에게는 절대 발송되지 않습니다.
비교
어떤 건의 어느 셀에서 얼마나 차이가 났는지 모든 차이점이 보존됩니다. 각 항목에 대해 점검이 이루어지며, 모든 실행은 동일한 시드로 재현할 수 있습니다.
승격
게이트를 통과해야만 반영되며, 그렇지 않으면 배제됩니다. 기록에는 두 버전이 모두 남으므로 모든 의사결정이 어떤 버전을 사용했는지 추적할 수 있습니다.
사전 시험 거침. 타인에 의한 승인.
변경 사항이 실제 운영에 반영되기 전, 먼저 연습용 기록을 대상으로 회사가 설정한 점검을 통과해야 합니다. 그 후 모델을 개발하지 않은 별도의 담당자가 패스키로 이를 승인합니다. 작성자, 검증자, 승인자를 각기 다른 세 사람으로 두어 직무를 엄격히 분리합니다.
- 실제 적용 전 연습용 기록을 통한 사전 점검
- 작성자는 본인의 변경 사항을 스스로 승인할 수 없음
- 점검 실패 시 변경이 중단되며 그 사유가 기록됨
- AI 버튼, 요율표, 약관 문구 모두에 동일한 게이트 적용
| 연습용 기록 대상 점검 | 결과 |
|---|---|
| 모든 보험료가 신고된 범위 내에 있음 | 통과 |
| 어느 셀도 변동 폭이 15%를 초과하지 않음 | 통과 |
| 동일한 위험에 대해 두 번 모두 동일한 보험료 산출 | 통과 |
| 보호 특성(차별 금지 항목)의 직접 또는 우회적 사용 없음 | 통과 |
| 시드와 일치하는 재현 결과 | 통과 |
| 고객에게 발송된 내역 없음 | 통과 |
| 직무 | 담당자 | 상태 |
|---|---|---|
| 작성자 | Marta Kowalczyk | 모델 구축 |
| 검증자 | Hana Suzuki | 검증 시점 |
| 승인자 | Nathan Farrell | 패스키 |
각기 다른 세 명의 담당자. Marta는 본인의 변경 사항을 승인할 수 없으며, 점검에 실패할 경우 그 사유와 함께 이 단계에서 중단됩니다.
기록에서 자동 취합. 담당자가 직접 서명.
매년 검증 문서철은 대개 스프레드시트와 담당자의 기억에 의존해 다시 작성되곤 합니다. HONESTAS에서는 데이터 점검, 챔피언 및 챌린저 비교, 민감도 분석, 백테스트 등 봉인된 실행 기록으로부터 문서철이 취합됩니다. 전문가적 판단이 필요한 영역은 검증자가 직접 작성하고 서명할 수 있도록 남겨 둡니다.
- 모든 수치는 산출 근거가 된 실행 기록과 연결됨
- 검증자의 의견은 절대 AI가 작성하지 않음
- 감사인 또는 감독당국 제출용 단일 파일로 내보내기 지원
| 섹션 | 취합 출처 | 상태 |
|---|---|---|
| 사용된 데이터 및 데이터 품질 | 봉인된 데이터 점검 14건 | 취합 완료 |
| 챔피언과 챌린저 | 섀도우 실행 3회, 각 135,000대 차량 대상 | 취합 완료 |
| 가정에 대한 민감도 | 시드 부여 실행 6회 | 취합 완료 |
| 경험 실적 대비 백테스트 | 8개 분기 클레임 데이터 | 취합 완료 |
| 검증자 의견 | Hana Suzuki | 작성 및 서명 필요 |
| 운영 반영 승인 | Nathan Farrell | 대기 중 |
모든 수치는 산출 근거가 된 봉인된 실행(run) 기록으로 연결됩니다. 검토 의견과 승인은 절대 자동으로 작성되지 않습니다.
무엇이 변경되었고, 어디에 영향을 미쳤는지 확인합니다.
모델, 요율표, 약관은 하나의 버전 저장소를 공유합니다. 저장된 모든 버전과 현재 적용 중인 영역, 그리고 이에 기반한 봉인된 의사결정을 모두 확인할 수 있습니다.
규정이 이미 요구하는 검증.
- Solvency II 제124조지침 2009/138/EC, 검증 기준내부 모델의 정기 검증 주기: 성과, 경험 실적 대비 테스트, 주요 가정에 대한 민감도 분석.
- EU AI Act 부속서 III, 5(c)Regulation (EU) 2024/1689생명 및 건강보험의 리스크 평가와 요율 산출은 고위험 AI에 해당하며, 관련 규정은 2027년 12월 2일부터 적용됩니다.
- EU AI Act 제15조규정 (EU) 2024/1689, 정확성고위험 AI는 적절한 수준의 정확성을 달성해야 하며, 이를 명시하고 전체 수명 주기 동안 유지해야 합니다.
- AI에 관한 EIOPA 의견서AI 거버넌스 및 리스크 관리, 2025년 8월 6일보험사가 사용하는 AI 시스템의 데이터 거버넌스, 문서화 및 지속적인 모니터링.
2026년 7월 24일 유럽연합 관보에 게재된 디지털 옴니버스 규정 (EU) 2026/1744에 따라 개정된 EU AI 법 시행일 기준입니다. 본 내용은 법률 자문이 아닙니다. 인증 및 법률 의견은 귀사와 귀사의 자문단 간에 진행되어야 합니다.
자주 묻는 질문.
당사의 모델을 HONESTAS로 이전해야 합니까?
아니요. 모델은 MLflow, SageMaker 또는 자체 레지스트리 등 기존 위치에 그대로 유지됩니다. HONESTAS는 이를 읽어 들여 등록부를 유지하고 모든 실행과 버전을 기록합니다.
어떤 모델이 대상입니까?
요율 산출, 지급준비금 산정, 클레임 분류(triage), 사진 손상 확인, 사기 징후 포착 및 각 보조 버튼 이면의 AI 모델 등 산출물이 의사결정으로 이어지는 모든 모델이 해당됩니다.
새 버전은 누가 승인할 수 있습니까?
모델 작성자나 검증자가 아닌, 귀사가 지정한 담당자가 승인합니다. HONESTAS는 승인 서명 전에 이 요건을 확인합니다.
모델에 드리프트가 발생하면 어떻게 됩니까?
소유자에게 관련 사례와 함께 알림이 전달됩니다. 모델이 자체적으로 기능을 중단하는 일은 없습니다. 소유자가 직접 결정하며, 그 결정 또한 기록됩니다.
검증 문서가 당사의 검증자를 대체합니까?
아니요. 검증 문서는 봉인된 실행 기록으로부터 검증자에게 필요한 증빙을 수집할 뿐입니다. 검증자의 의견 작성과 운영 적용(go live) 승인은 사람이 직접 작성하고 서명합니다.