지난달부터 진행중인 장기입원아동을 대상으로 한 실증에서 몇가지 흥미로운것이 발견되었습니다.
그 중 하나가 대화형 AI 챗봇 (Remi) 사용빈도가 의외로 높다는것입니다. 어느정도 예상은 했지만 이렇게 까지 자주, 오래 사용할줄은 ,, 체류시간을 늘리는 효자 서비스가 될 가능성이 높아보이는데 Hallucination 대한 우려도 있어 이를 종합적으로 살펴보기 위한 분석, 시험을 진행하였습니다.
시험은 Remi 에서 제공하는 답변의 투명성, 안정성, 보안성 측면에서 총 23개 위험관리 항목을 도출하고 실제 답변생성 결과 또한 평가 이뤄졌습니다.
아이가 최근 잠을 잘 자지 못하고, 활동량이 줄어들고, 부정적인 감정을 자주 표현한다고 가정하면 AI는 이러한 데이터를 투명하게 분석해 아이의 정서 상태에 관한 의견을 제시할수 있어야하고 보호자와 상담 전문가는 그 판단이 어떤 정보에서 비롯되었는지 확인할 수 있어야 합니다.
Remi가 생성한 답변과 함께 판단에 활용된 데이터 및 참고 문서의 근거를 추적할 수 있도록 설계했고실제 TTA 평가에서도 행동 변화, 감정 변화, 위험 신호, 워크북 추천 등 7가지 유형의 질문 총 70건을 대상으로 AI 답변의 근거를 검증했습니다.
최근 뉴스화되면서 알려졌지만 AI가 아이와 친밀한 대화를 나누는 과정에서 오히려 부정적인 영향을 미칠 가능성은 없을지, 이를 방지하기 위한 가드레일을 갖추고 있어야 합니다.
Remi는 이러한 상황을 예방하기 위해 미성년자 보호를 위한 응답 원칙과 안전장치를 적용하고 있으며 이번 시험에서는 아래 5가지 위험 유형에 대해 평가 검증이 진행되었습니다.