설명 가능성 (Explainability) 뜻 — 비유로 쉽게

1비유로 이해하기

정비소에 차를 맡겼는데 "사십만 원 나왔습니다" 한마디만 돌아오면 돈은 낼 수 있어도 마음은 편하지 않아요. 옆 가게에서는 종이 한 장을 같이 건네요. 어떤 부품을 갈았고 값이 얼마인지, 손질에 몇 시간이 들었는지, 왜 지금 갈아야 했는지가 줄마다 적혀 있어요.

같은 사십만 원인데 이쪽은 따져 볼 수 있어요. 값이 이상하면 어느 줄이 이상한지 짚을 수 있고, 다음에 어디를 먼저 손봐야 하는지도 보이죠. 명세서가 있으면 손님이 정비사와 같은 화면을 보게 돼요.

AI에게 이 명세서를 요구하는 일이 설명 가능성이에요. 결과 한 줄만 툭 던지는 대신, 무엇을 얼마나 보고 그렇게 판단했는지 줄마다 펼쳐 보이게 하는 거예요.

2자세히 알아보기

결과 한 줄로는 따질 수가 없어요

AI가 내놓는 것은 대개 짧아요. 이 사진은 어느 쪽에 가깝다, 이 글은 위험해 보인다, 이 신청은 기준에 못 미친다 같은 한 줄이죠. 판단이 사람에게 영향을 주는 자리라면 이 한 줄만으로는 아무것도 할 수 없어요. 틀렸다고 말하려 해도 어디가 틀렸는지 짚을 수가 없으니까요.

근거가 있으면 세 가지가 가능해져요. 잘못된 판단을 바로잡을 수 있고, 판단이 엉뚱한 단서에 기대고 있지는 않은지 검사할 수 있고, 판단을 받은 사람에게 무엇을 고치면 되는지 알려 줄 수 있어요.

실제로 근거를 열어 보고 나서야 문제가 드러나는 일도 많아요. 상처를 찍은 사진에 늘 함께 찍히던 자를 보고 판정하고 있었다든지, 눈 덮인 배경만 보고 종류를 갈랐다든지 하는 식이에요. 정답률만 봐서는 절대 눈치챌 수 없는 일이에요.

어디를 보고 판단했는지 표시하기

가장 흔한 설명 방식은 입력의 어느 부분이 결정에 크게 작용했는지 표시하는 것이에요. 사진이라면 판단에 많이 쓰인 자리가 밝게 칠해져 나오고, 문장이라면 낱말마다 얼마나 작용했는지 크기가 붙어요.

계산은 대체로 "이 부분을 가리면 결과가 얼마나 흔들리는가"를 재는 방식이에요. 가렸을 때 결과가 크게 바뀌면 그 부분을 크게 본 것이고, 가려도 그대로면 별로 안 본 것이죠. 정비 명세서의 줄마다 붙은 금액과 비슷한 자리예요.

이 표시는 어디를 봤는지는 알려 주지만 무엇을 왜 그렇게 해석했는지까지 알려 주지는 않아요. 밝게 칠해진 자리가 보여도 그 자리를 어떤 이유로 위험하다고 봤는지는 여전히 사람이 짐작해야 해요.

조건 하나만 바꿔 보기

다른 방식은 바꿔 보는 것이에요. 다른 항목은 그대로 두고 한 가지만 바꿔서 다시 물어보는 거예요. 근무 기간만 늘려 봤더니 결과가 뒤집혔다면, 근무 기간이 이 판단을 가른 조건이었다는 뜻이에요.

이런 설명은 받는 사람에게 특히 쓸모가 있어요. "왜 안 되나요"보다 "무엇이 달랐으면 됐나요"에 답해 주니까요. 애매한 근거 목록보다 한 줄의 구체적인 조건이 훨씬 잘 와닿아요.

다만 바꿔 본 조건이 현실에서 바꿀 수 있는 것이어야 의미가 있어요. 손댈 수 없는 항목을 두고 "이게 달랐으면 됐다"고 말하는 설명은 위로도 안내도 되지 못해요.

설명이 진짜 이유가 아닐 수도 있어요

여기서 가장 조심해야 할 대목이 나와요. 대부분의 설명은 판단이 끝난 뒤에 바깥에서 따로 계산한 결과예요. 모델 안에서 실제로 벌어진 계산을 그대로 옮겨 적은 것이 아니에요.

그래서 그럴듯하지만 사실이 아닌 설명이 나올 수 있어요. 대화형 AI에게 왜 그렇게 답했는지 물으면 매끄러운 이유를 붙여 주는데, 그 문장 역시 그럴듯한 말을 이어 만든 결과예요. 실제 계산 과정을 들여다보고 보고하는 것이 아니에요.

설명을 만드는 방법이 여러 가지라 같은 판단에 서로 다른 설명이 붙기도 해요. 설명은 참고 자료이지 증거가 아니라고 보는 편이 안전해요.

처음부터 들여다보이게 만드는 길

나중에 설명을 붙이는 대신, 아예 사람이 읽을 수 있는 형태로 모델을 만드는 길도 있어요. 조건을 나뭇가지처럼 갈라 놓은 규칙형이나 항목마다 얼마씩 더하고 빼는 단순한 형태라면, 판단 과정 자체가 곧 명세서예요.

대신 복잡한 문제에서는 성능이 조금 떨어지곤 해요. 그래서 현장에서는 정확도가 높은 쪽을 쓰되 설명을 붙이거나, 중요한 판단만 규칙형으로 다시 검토하는 식으로 섞어 써요.

무엇을 고르든 마지막 안전장치는 사람이에요. 설명을 읽고 이상한 근거를 발견했을 때 판단을 멈출 수 있는 자리가 있어야 설명이 쓸모를 가져요.

3조금 더 정확하게

설명 가능성은 두 갈래로 나눠 보는 편이 정확해요. 하나는 모델 구조 자체가 사람이 따라 읽을 수 있는 경우이고, 다른 하나는 이미 만들어진 모델의 판단을 바깥에서 뜯어보는 경우예요. 뒤쪽을 사후 설명이라고 불러요. 입력을 조금씩 가리며 결과 변화를 재는 방법, 항목마다 기여도를 나눠 매기는 방법, 판단 근처에서만 단순한 대리 모델을 만들어 흉내 내는 방법이 여기에 들어가요.

비유가 어긋나는 자리도 있어요. 정비 명세서는 정비사가 실제로 한 일을 적은 기록이지만, 사후 설명은 바깥에서 재구성한 추정이에요. 정비사에게 다시 물으면 같은 답이 나오지만, 설명 방법을 바꾸면 근거 순위가 달라지기도 해요. 또 명세서의 항목은 서로 독립적이지만 모델이 보는 단서들은 서로 얽혀 있어서, 한 항목의 몫을 딱 잘라 떼어 내기 어려워요.

설명이 붙었다고 판단이 옳아지는 것도 아니에요. 설명은 판단의 품질을 보증하지 않고, 다만 검사할 거리를 만들어 줄 뿐이에요.

4직접 해보기

CNN 시각적 설명 ailearn.space 사진을 넣으면 층마다 어떤 무늬에 반응했는지 그림으로 펼쳐 보여 줘요

5흔한 오해

설명이 붙으면 판단을 믿어도 된다고 생각하기 쉽지만, 실제로는 그럴듯한 설명이 붙은 틀린 판단이 오히려 더 위험해요.
AI에게 이유를 물으면 진짜 이유를 말해 준다고 여기기 쉽지만, 실제로는 그 답도 그럴듯한 문장을 만들어 낸 결과예요.
설명 가능성과 정확도는 같이 간다고 생각하기 쉽지만, 실제로는 성능이 높은 모델일수록 속이 복잡해서 설명이 어려워지는 쪽이 많아요.

7한 줄 요약

그러니까설명 가능성은 AI의 판단에 명세서를 요구하는 일이고, 그 명세서는 검사할 거리를 줄 뿐 판단이 옳다는 보증서는 아니에요.

이 비유가 이해에 도움이 됐나요?

잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02