파괴적 망각Catastrophic Forgetting
새것을 배우다 예전 실력을 잃어버리는 현상
- 파괴적 망각은 AI가 새 일을 배우는 사이 예전에 잘하던 일을 급격히 잃는 현상이에요.
- 원인은 자리가 따로 없다는 데 있어요. 옛 지식과 새 지식이 같은 숫자 뭉치를 나눠 쓰기 때문이에요.
- 학습은 지금 보여 준 자료로만 채점해요. 옛 자료를 한 장도 넣지 않으면 옛 실력이 무너져도 신호가 오지 않아요.
- 옛 자료를 조금 섞어 주거나, 중요한 값을 붙들어 매거나, 새 부품을 따로 달아 막아요.
- 새로 가르친 뒤에는 새 과제 점수만 보지 말고 예전 과제 점수를 함께 재야 알아챌 수 있어요.
목차
1비유로 이해하기
쇠막대 하나를 자석으로 한쪽 방향을 향해 여러 번 문지르면 막대에 자력이 배어들어요. 이제 이 막대는 클립을 끌어당겨요. 문지른 방향이 막대 전체에 통째로 남은 거예요.
그런데 같은 막대를 이번엔 반대 방향으로 문지르기 시작하면, 새 방향이 배어드는 만큼 먼저 배어 있던 방향은 흐려져요. 얼마 지나지 않아 막대는 새 방향으로만 반응해요. 막대 안에 옛 방향을 따로 담아 둘 칸이 없기 때문이에요. 한 막대에 방향은 하나예요.
AI가 새 일을 배우다 예전 일을 못 하게 되는 파괴적 망각이 이 쇠막대와 같아요.
2자세히 알아보기
옛 지식과 새 지식이 같은 자리를 써요
신경망 안에는 조절할 수 있는 숫자가 빼곡히 들어 있어요. 이 숫자들이 "고양이 담당 칸"과 "강아지 담당 칸"으로 나뉘어 있지는 않아요. 두 지식 모두 같은 숫자 뭉치 위에 겹쳐서 얹혀 있어요.
새 과제를 학습시키면 그 숫자들이 새 과제가 잘 풀리는 쪽으로 조금씩 옮겨 가요. 옮겨 간 자리에서 옛 과제가 어떻게 되는지는 학습 과정이 확인하지 않아요. 막대를 반대로 문지르는 동안 앞서 배어든 방향이 밀려나는 것과 같은 일이 숫자 위에서 벌어져요.
칸막이가 없다는 것이 이 현상의 뿌리예요. 칸이 나뉘어 있다면 새 지식은 빈 칸에 들어가 앉으면 그만이지만, 실제로는 옛 지식이 쓰던 바로 그 숫자를 새 지식이 다시 써요.
지금 보이는 것만 채점해요
학습은 틀린 정도를 재고 그만큼 숫자를 옮기는 일이에요. 그런데 이 틀린 정도는 지금 손에 든 자료에서만 계산돼요. 새 자료만 넣고 돌리면 옛 실력이 아무리 무너져도 화면의 숫자는 계속 좋아져요. 학습이 순조로워 보이는데 실제로는 예전 능력이 빠져나가는 중인 셈이에요.
빠지는 속도도 빨라요. 몇 바퀴만 돌려도 예전 과제 정확도가 절반 아래로 내려가는 일이 흔해요. 서서히 흐려지는 것이 아니라 뚝 떨어져서 이름에 '파괴적'이라는 말이 붙었어요.
특히 새 자료가 예전 자료와 성격이 많이 다를수록 심해요. 사진을 다루던 모델에 도표만 잔뜩 보여 주거나, 편한 말투로 답하던 모델에 딱딱한 문서만 보여 주면 옮겨 가야 할 거리가 멀어서 옛 자리가 크게 흔들려요.
옛 방향을 남기는 세 가지 방법
첫째는 옛 자료를 섞어 주는 방법이에요. 새 자료만 몰아 넣지 않고 예전 자료를 조금씩 함께 보여 줘요. 원본을 더 이상 쓸 수 없는 상황이면 예전 모델이 내놓던 답을 대신 섞기도 해요.
둘째는 중요한 값을 붙들어 매는 방법이에요. 옛 과제에 크게 기여한 숫자를 먼저 찾아 두고, 그 숫자가 많이 움직이면 벌점을 크게 매겨요. 덜 중요한 숫자에만 여유를 주는 방식이에요.
셋째는 부품을 따로 다는 방법이에요. 원래 숫자에는 손대지 않고 작은 부품을 옆에 붙여 새 과제만 그 부품이 맡게 해요. 문지르던 막대는 그대로 두고 새 막대를 하나 더 다는 셈이라, 필요하면 부품을 떼어 예전 상태로 돌아갈 수도 있어요.
조금씩, 확인하면서 가르쳐요
한 번에 크게 움직이지 않는 것도 큰 도움이 돼요. 한 걸음의 크기를 작게 잡고 짧게 가르치면 숫자가 원래 자리에서 멀리 벗어나지 않아요. 새 과제만 통째로 갈아 끼우는 대신 여러 과제를 섞어서 한꺼번에 가르치면 애초에 밀려날 일도 줄어요.
무엇보다 중요한 건 재 보는 일이에요. 새로 가르치기 전에 예전 과제 몇 가지를 골라 점수를 적어 두고, 다 가르친 뒤 같은 문제로 다시 재요. 새 과제 점수만 들여다보면 무엇이 사라졌는지 끝내 모른 채 넘어가게 돼요.
가르치기 전 상태를 파일로 남겨 두는 습관도 필요해요. 새 과제를 얻은 대신 잃은 것이 너무 크다고 판단되면, 남겨 둔 그 상태로 돌아가 자료 비율이나 걸음 크기를 바꿔 다시 시도할 수 있어요.
3조금 더 정확하게
파괴적 망각(Catastrophic Forgetting)은 여러 과제를 차례로 학습시킬 때 나중 과제가 앞선 과제의 가중치를 덮어써 앞선 과제의 성능이 급격히 떨어지는 현상이에요. 이 문제를 다루는 분야를 연속 학습이라고 불러요. 앞서 말한 세 가지 방법은 각각 리허설, 정규화 기반 억제, 구조 분리라는 이름으로 정리돼요.
비유가 어긋나는 지점도 있어요. 쇠막대는 방향을 하나밖에 담지 못하지만 신경망 안의 숫자는 수억 개라, 서로 다른 능력이 겹쳐 살 자리가 어느 정도는 있어요. 그래서 자료를 잘 섞어 가르치면 여러 과제를 함께 쥐고 갈 수 있어요. 또 하나, 막대에서 빠져나간 자력은 정말 사라지지만 가중치는 없어진 게 아니라 옮겨진 상태예요. 그래서 옛 자료를 조금만 다시 보여 줘도 처음 배울 때보다 훨씬 빨리 실력이 돌아오는 경우가 많아요.
4직접 해보기
5흔한 오해
모델이 크면 다 기억할 여유가 있다고 생각하기 쉽지만, 실제로는 크기와 상관없이 새 자료만 반복해서 보여 주면 옛 과제 점수가 떨어져요.
새 지식을 더 넣었으니 전체적으로 똑똑해졌다고 여기기 쉽지만, 실제로는 새 과제 점수가 오르는 동안 재 보지 않은 과제가 조용히 무너지고 있을 수 있어요.
사람도 잊어버리니 비슷한 일이다라고 생각하기 쉽지만, 실제로는 사람의 망각은 서서히 흐려지는 쪽이고 이 현상은 몇 바퀴 만에 급격히 무너지는 쪽이라 성격이 달라요.
7한 줄 요약
그러니까파괴적 망각은 한 막대에 방향이 하나뿐이듯 옛 일을 담당하던 값이 새 학습에 덮여 예전 실력을 잃는 현상이고, 옛 자료를 조금 섞어 주고 예전 점수를 함께 재는 것이 기본 대비책이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02