검증 가능한 AI UI 설계하기

AI를 신뢰한다는 말

ChatGPT에게 코드를 물어보고 그대로 붙여 넣은 적이 있다. 같은 질문을 해놓고도 검색 결과나 공식 문서를 다시 확인한 적도 있다.

둘 다 AI를 사용한 행동이지만, 신뢰한 방식은 다르다. 앞의 경우에는 답변을 바로 의사결정에 반영했고, 뒤의 경우에는 AI를 출발점으로만 썼다.

 

인간-AI 상호작용 연구에서 신뢰는 보통 이런 차이를 가리킨다. 사용자가 AI의 능력과 한계를 어느 정도 이해하고, 그 수준에 맞게 의존하는가. 그래서 신뢰는 만족도나 사용 의도와 구분된다.

 

만족도는 결과나 경험이 마음에 들었는지에 가깝다. 사용 의도는 앞으로도 계속 쓸 생각이 있는지를 말한다. 반면 신뢰는 AI의 결과가 완전히 맞는지 모르는 상황에서도 그 결과를 판단에 반영하려는 정도다.

 

ChatGPT를 매일 쓰는 개발자도 보안이나 결제 로직을 만들 때는 공식 문서를 함께 확인한다. 사용 의도는 높지만, 신뢰는 상황에 따라 조절하고 있는 셈이다.

과신과 불신

AI의 실제 능력보다 신뢰가 높으면 과신이 생긴다. 사용자는 AI가 틀린 답을 내도 그대로 받아들이고, 결과를 검증하지 않게 된다.

반대로 AI의 실제 능력보다 신뢰가 낮으면 불신이 생긴다. AI가 맞는 답을 제시해도 사용자는 끝까지 직접 확인하거나 아예 사용하지 않는다. 이 경우에는 AI가 줄 수 있는 이점도 사라진다.

 

최근 연구에서 다루는 핵심은 신뢰의 양보다 보정이다. AI가 잘 맞는 상황에서는 빠르게 받아들이고, 틀릴 가능성이 큰 상황에서는 확인하도록 돕는 일이다.

 

이 관점에서 AI 인터페이스의 역할도 달라진다. 좋은 인터페이스는 AI를 유능하게 보이도록 포장하는 화면보다, 사용자가 의존 수준을 조절할 수 있게 해주는 화면에 가깝다.

 

인터페이스가 신뢰를 바꾼다

사용자가 AI의 답변을 판단하려면 출처, 근거, 과거 성능을 확인해야 한다. 그러나 매번 모델의 정확도를 직접 평가하기는 어렵다. 실제 서비스에서는 화면에 드러난 여러 단서가 판단에 영향을 준다.

 

그중 하나가 의인화다.

 

Believing Anthropomorphism 연구는 2,165명의 참가자를 대상으로 LLM 인터페이스의 의인화 단서가 사용자 인식에 어떤 영향을 미치는지 실험했다. 연구진은 같은 가상의 LLM을 텍스트만 제공하는 조건과 음성·텍스트를 함께 제공하는 조건으로 나눴다. AI가 자신을 I라고 표현하는 조건과 the system이라고 표현하는 조건도 비교했다.

 

음성과 텍스트를 함께 제공한 인터페이스는 텍스트만 제공한 인터페이스보다 더 인간적인 시스템으로 인식됐다. 여기까지는 예상 가능한 결과다. 흥미로운 점은 음성이 추가된 조건에서 참가자들이 AI가 제공한 정보의 정확성까지 더 높게 평가했다는 점이다. 일부 조건에서는 AI가 자신을 I라고 표현했을 때 정보의 정확성은 더 높게, 위험은 더 낮게 평가됐다.

 

음성이나 1인칭 표현이 모델의 추론 능력을 높인 것은 아니다. 달라진 것은 성능이 아니라 사용자가 시스템을 받아들이는 방식이었다.

인간적인 표현
사람처럼 느껴지는 시스템
더 정확해 보이는 답변
낮게 평가되는 위험

이 결과는 인터페이스가 단순한 포장이 아니라 사용자가 AI의 능력을 추론하는 단서로 작동한다는 점을 보여준다.

 

 

AI가 친근하고 자연스럽게 말한다는 사실과 답변이 정확하다는 사실은 분리해서 봐야 한다. 자연스러운 음성, 1인칭 표현, 공감하는 말투는 사용자가 AI를 더 유능하게 느끼게 만들 수 있다. 그러면 답변의 근거보다 화면의 인상이 신뢰 판단에 더 크게 작용할 수 있다.

 

이 문제는 AI가 틀렸을 때 커진다. 인간적인 인터페이스는 잘못된 답변도 자연스럽고 설득력 있게 전달할 수 있기 때문이다. 의료, 금융, 채용, 법률, 포렌식처럼 판단 비용이 큰 분야에서는 친근함이나 전문적인 인상이 정확성을 대신해서는 안 된다.

설명과 신뢰도 표시의 한계

많은 AI 서비스는 결과를 더 신뢰할 수 있게 만들기 위해 설명 기능을 제공한다. 결과 옆에 신뢰도 92% 같은 수치를 표시하거나, AI가 판단한 이유를 문장으로 보여준다. 특정 영역을 색으로 강조하거나 그래프로 시각화하는 방식도 자주 쓰인다.

 

직관적으로는 설명이 많을수록 사용자가 AI를 더 잘 이해할 것처럼 보인다. 실제 결과는 단순하지 않았다.

 

Engaging with AI: How Interface Design Shapes Human-AI Collaboration in High-Stakes Decision-Making 연구는 당뇨병 관리 의사결정 상황에서 여러 종류의 AI 지원 인터페이스를 비교했다. 총 108명이 참여했고, 연구진은 텍스트 설명, 시각적 설명, 신뢰도 표시, 과거 성능 시각화, 사용자에게 먼저 의견을 묻는 방식 등을 실험했다.

 

연구 결과, 신뢰도 표시와 텍스트 설명, 과거 성능 시각화는 인간과 AI가 함께 수행한 과제의 성과를 높이는 데 도움이 됐다. AI의 추론 근거가 제공됐을 때는 신뢰 형성에도 긍정적인 영향이 있었다.

 

반면 단순한 시각적 설명은 사용자의 신뢰에 큰 영향을 주지 못했다. 사용자에게 먼저 의견을 요구하거나 AI가 질문을 던지는 방식은 더 깊은 사고를 유도했지만, 동시에 인지적 부담을 높여 과제 수행 성과를 낮추기도 했다.

 

설명 기능의 효과는 존재 여부보다 형식과 맥락에 달려 있었다.

숫자는 빠르지만 불완전하다

Confidence를 숫자로 보여주는 방식은 간단하다.

AI 신뢰도 92%

이 숫자는 사용자가 결과를 빠르게 훑는 데 도움을 줄 수 있다. Confidence가 낮다면 한 번 더 확인하고, 높다면 우선순위를 높게 둘 수 있다.

 

문제는 사용자가 92%의 의미를 알기 어렵다는 데 있다. 모델이 정답일 확률인지, 특정 클래스에 대한 출력값인지, 과거 데이터에서 측정된 정확도인지가 화면만으로는 분명하지 않다. 높은 숫자는 그 자체로 강한 인상을 주기 때문에 근거 확인을 건너뛰게 만들 수도 있다.

문장형 설명도 같은 한계를 가진다.

 

환자의 혈당 수치, 식사 기록, 이전 투약 패턴을 분석한 결과
현재 인슐린 투여량을 유지하는 것이 적절합니다.

 

문장은 그럴듯하다. 그러나 사용자가 실제 혈당 수치나 투약 기록을 확인할 수 없다면, 이 설명은 검증 가능한 근거라기보다 결론을 다시 말한 문장에 가깝다.

 

좋은 설명은 결론을 꾸미는 문장이 아니다. 사용자가 그 결론을 확인할 수 있게 만드는 정보다.

 

정보가 많아도 판단은 어려워질 수 있다

AI의 판단 근거를 모두 노출하면 사용자는 많은 정보를 한꺼번에 마주한다.

Confidence
Feature Importance
Attention Map
추론 과정
과거 정확도
원본 데이터
메타데이터
유사 사례
시스템 로그

각 정보는 의미가 있을 수 있다. 그러나 사용자가 무엇을 먼저 봐야 하는지 모르면 화면은 복잡해지고 판단은 느려진다.

 

그래서 설명 UI는 정보량보다 순서가 중요하다. 처음에는 결론과 불확실성을 보여주고, 다음에는 핵심 근거를 보여주고, 더 필요한 경우 원본 데이터와 세부 분석으로 들어갈 수 있어야 한다.

 

1. AI의 결론과 불확실성
2. 결론을 뒷받침하는 핵심 근거
3. 원본 데이터와 세부 분석

 

사용자가 AI의 결과와 근거를 빠르게 비교하고, 필요할 때 원본까지 확인할 수 있어야 한다. 이때 설명은 설득 장치보다 검증 장치에 가까워진다.

 

 

Evidence UI를 설계한 과정

이 관점을 실제 제품에 적용할 기회가 있었다.

내가 참여한 프로젝트는 AI가 문서, 이미지, 음성, 영상 파일을 분석하고 관련도가 높은 자료를 찾아주는 포렌식 데스크톱 서비스였다. 기존 결과 화면은 파일명과 AI가 계산한 관련도 점수를 중심으로 구성돼 있었다.

meeting-record.mp4

관련도 점수: 0.91

점수는 결과를 정렬하고 우선순위를 정하는 데 유용했다. 그러나 사용자는 바로 다음 질문에 답할 수 없었다.

이 파일이 왜 탐지됐을까?

영상 파일의 관련도 점수가 0.91로 표시돼도 어떤 음성 구간이 탐지됐는지, 화면 속 어떤 문장이 검색어와 일치했는지, 어떤 메타데이터가 판단에 쓰였는지 알 수 없었다.

 

사용자는 점수를 믿거나 원본 파일을 처음부터 다시 확인해야 했다. 영상이나 음성처럼 길이가 긴 파일에서는 이 비용이 특히 컸다. 몇 초짜리 관련 구간을 찾기 위해 전체 파일을 재생해야 했고, 문서와 이미지도 원본을 따로 열어 탐지된 내용을 찾아야 했다.

AI의 정확도만의 문제가 아니었다. 결과를 검증할 수 있는 정보가 화면에 부족했다.

 

설명 대신 원본 근거

처음에는 점수 옆에 AI의 판단 이유를 텍스트로 추가하는 방식을 생각했다.

 

이 파일은 검색어와 관련된 내용을 포함하고 있어 높은 점수를 받았습니다.

이런 문장은 점수를 풀어서 설명할 뿐이다. 사용자가 직접 확인할 수 있는 정보는 늘어나지 않는다.

그래서 AI가 만든 설명문보다 원본 근거를 결과 화면에 붙이는 방향으로 설계했다. 파일 유형에 따라 근거 구조를 다르게 잡았다.

 

문서: 검색어와 일치한 본문 문장
이미지: OCR로 추출된 일치 텍스트와 원본 위치
오디오: STT로 변환된 발화 내용과 타임스탬프
영상: 관련 음성 구간, 화면 OCR, 재생 위치
공통: 파일 생성 시각, 위치, 형식 등의 메타데이터

핵심은 모든 파일을 같은 카드로 처리하지 않는 것이었다. 사용자는 문서, 이미지, 음성, 영상을 검증할 때 서로 다른 단서를 본다. UI도 그 차이를 따라가야 했다.

 

OCR과 STT는 이동 지점이 됐다

이미지와 영상 프레임에서는 OCR로 추출한 텍스트 중 검색어와 일치한 문장을 보여줬다.

탐지된 문장

"프로젝트 계약 관련 자료는 별도 서버에 보관합니다."

텍스트만 보여주면 사용자는 OCR 결과를 다시 믿어야 한다. 그래서 가능한 경우 해당 문장이 발견된 원본 이미지나 프레임을 함께 확인할 수 있게 했다. 사용자는 실제 이미지에 문장이 있는지, OCR이 글자를 잘못 읽지 않았는지, 검색어가 문맥상 의미 있게 쓰였는지 비교할 수 있었다.

 

음성과 영상은 STT 결과를 세그먼트 단위로 나눴다. 각 세그먼트에는 변환된 문장과 시작·종료 시각을 포함했다.

[02:14~02:22]

"관련 파일은 외부 저장 장치로 옮겨 두겠습니다."

사용자가 세그먼트를 선택하면 해당 재생 위치로 바로 이동한다. STT 문장은 정답이 아니라 원본 음성을 빠르게 확인하기 위한 인덱스로 사용했다.

메타데이터는 별도의 근거로 다뤘다

파일명, 생성 시각, 수정 시각, 촬영 위치, 파일 형식 같은 메타데이터도 함께 제공했다. 메타데이터는 OCR이나 STT와 성격이 다르다. 콘텐츠의 의미보다 파일의 생성 배경과 관계를 추론하는 데 도움을 준다.

 

다만 메타데이터도 확정적인 사실처럼 표현하지 않았다. 일부 값은 누락되거나 수정될 수 있고, 기기 설정에 따라 부정확할 수도 있기 때문이다.

 

화면 안에서는 각 정보의 역할을 분리했다.

AI 관련도 점수: 확인 순서를 정하는 신호
OCR·STT: 콘텐츠에서 발견한 근거
메타데이터: 파일의 맥락을 이해하기 위한 보조 정보
원본 파일: 사용자가 최종 판단을 내리는 대상

이 구분 덕분에 점수, 근거, 원본이 한 덩어리처럼 보이지 않았다. 사용자는 높은 점수를 정답으로 받아들이기보다, 점수를 따라 근거를 보고 원본에서 확인할 수 있었다.

결과에서 원본까지의 이동

근거가 있어도 여러 화면을 오가야 한다면 검증은 쉽게 생략된다. 결과 목록에서 파일을 선택하면 점수, 핵심 근거, 원본 미리보기를 한 흐름에서 볼 수 있게 한 이유다.

 

초기 화면에는 대표 근거만 보여줬다. 세부 OCR 결과, STT 세그먼트, 전체 메타데이터는 필요할 때 펼쳐보게 했다.

1. 파일과 관련도 점수 확인
2. 대표 OCR·STT 근거 확인
3. 근거 선택
4. 원본의 해당 위치로 이동
5. 최종 판단

가능한 모든 정보를 한 화면에 나열하기보다, 결과에서 원본 확인까지 걸리는 시간을 줄이는 데 집중했다.

설계 원칙

연구와 프로젝트 경험을 함께 놓고 보면, 검증 가능한 AI UI에는 몇 가지 조건이 필요했다.

결과와 근거를 가까이 둔다

AI는 결론을 제시하는 데서 끝나면 안 된다. 사용자가 그 결론을 판단할 수 있도록 근거를 함께 제공해야 한다.

위험도 91%

[근거 보기]

이렇게 근거가 접힌 버튼 뒤에 있거나 다른 화면에 있으면 사용자는 확인을 미룬다. 결과 바로 옆에서 핵심 근거를 볼 수 있으면 검증 비용이 낮아진다.

AI의 역할과 불확실성을 표현한다

AI의 답변을 확정적인 사실처럼 표현하면 사용자는 AI가 판단한 것인지, 사람이 확인한 것인지 구분하기 어렵다.

이 파일은 악성 파일입니다.

더 나은 표현은 AI의 역할과 사용자의 다음 행동을 함께 알려준다.

악성 파일일 가능성이 높습니다.

다음 근거를 바탕으로 탐지했습니다.

최종 판단을 위해 원본을 확인해주세요.

사용자는 AI가 무엇을 알고 있고 무엇을 모르는지 이해할 수 있어야 한다.

화면의 인상보다 근거를 앞세운다

친근한 말투, 자연스러운 애니메이션, 전문적인 화면은 사용성을 높일 수 있다. 그러나 이런 요소가 정확성의 근거처럼 보이면 위험하다.

사용자가 확인해야 하는 것은 인터페이스의 분위기보다 판단 근거다. 디자인은 AI를 유능해 보이게 만드는 데 쓰기보다, 근거를 찾고 비교하는 과정을 쉽게 만드는 데 써야 한다.

중요한 결정에는 확인 단계를 넣는다

영화 추천이 틀리는 것과 의료, 금융, 채용, 법률, 포렌식 판단이 틀리는 것은 비용이 다르다. 판단 비용이 큰 영역에서는 사용자가 AI 결과를 그대로 받아들이지 않도록 화면이 개입해야 한다.

가능한 방식은 단순하다.

• 원본 데이터를 함께 보여주기
• 최종 제출 전에 근거를 다시 확인하게 하기
• 사용자의 판단을 먼저 입력하게 하기
• AI가 놓친 가능성을 함께 제시하기

모든 상황에서 검증을 강제할 필요는 없다. 다만 중요한 의사결정에서는 사용자가 한 번 멈춰 확인할 수 있어야 한다.

검증 가능성이 신뢰를 만든다

처음에는 Evidence UI의 성과를 두고 사용자가 AI를 더 신뢰하게 됐다고 설명할 수 있다고 생각했다. 연구를 살펴본 뒤에는 그 표현이 충분하지 않다고 느꼈다.

 

사용자가 AI 결과를 더 자주 받아들였다는 사실만으로는 좋은 변화인지 알 수 없다. AI가 틀린 상황에서도 결과를 그대로 따른다면 과신이 늘어난 것일 수 있다.

 

Evidence UI가 바꾼 것은 신뢰의 양보다 판단 과정이었다. 사용자는 다음 질문에 더 빨리 답할 수 있었다.

AI는 왜 이 파일을 탐지했는가?
그 근거는 원본에도 실제로 존재하는가?
OCR이나 STT가 잘못 해석한 것은 아닌가?
이 결과를 받아들여도 되는가?

점수만 있던 화면에서는 사용자가 AI의 판단을 믿거나 원본을 처음부터 다시 조사해야 했다. Evidence UI에서는 AI가 제시한 근거를 따라가며 원본과 비교하고, 필요하면 결과를 거부할 수 있었다.

 

AI UI에서 신뢰는 보기 좋은 화면이나 높은 점수에서 만들어지지 않는다. 결과와 근거가 연결되어 있고, 사용자가 그 근거를 원본에서 확인할 수 있을 때 생긴다.

 

 

 

※ 이미지에 대하여

본 글에 포함된 UI 이미지는 설명을 돕기 위해 AI를 활용하여 제작한 예시(Mockup) 입니다. 실제 프로젝트의 화면이나 회사의 내부 UI를 사용하지 않았으며, 제품 구조와 UX 설계 의도를 이해하기 쉽도록 재구성한 이미지입니다.

참고 문헌 (References)

본 글의 내용은 다음 연구들을 참고하여 작성했습니다.

1. Liu, Z. et al. (2025). Eye-Tracking Evidence That Verifiable Explanations Support Visual Evidence Checking. Nature Communications.https://doi.org/10.1038/s41467-025-60281-7
2. Lai, V., et al. (2023). How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey. arXiv:2403.14496.
3. Hoffman, R. R., et al. (2018). Metrics for Explainable AI: Challenges and Prospects. arXiv:1812.04608.
4. Eiband, M., et al. (2019). Bringing Transparency Design into Practice. IUI 2019.
5. Miller, T. (2019). Explanation in Artificial Intelligence: Insights from the Social Sciences. Artificial Intelligence, 267, 1–38.