핵심 정리
- 파괴적 망각은 AI가 새 일을 배우는 사이 예전에 잘하던 일을 급격히 잃는 현상이에요.
- 원인은 자리가 따로 없다는 데 있어요. 옛 지식과 새 지식이 같은 숫자 뭉치를 나눠 쓰기 때문이에요.
- 학습은 지금 보여 준 자료로만 채점해요. 옛 자료를 한 장도 넣지 않으면 옛 실력이 무너져도 신호가 오지 않아요.
- 옛 자료를 조금 섞어 주거나, 중요한 값을 붙들어 매거나, 새 부품을 따로 달아 막아요.
- 새로 가르친 뒤에는 새 과제 점수만 보지 말고 예전 과제 점수를 함께 재야 알아챌 수 있어요.
비유로 이해하기
쇠막대 하나를 자석으로 한쪽 방향을 향해 여러 번 문지르면 막대에 자력이 배어들어요. 이제 이 막대는 클립을 끌어당겨요. 문지른 방향이 막대 전체에 통째로 남은 거예요.
그런데 같은 막대를 이번엔 반대 방향으로 문지르기 시작하면, 새 방향이 배어드는 만큼 먼저 배어 있던 방향은 흐려져요. 얼마 지나지 않아 막대는 새 방향으로만 반응해요. 막대 안에 옛 방향을 따로 담아 둘 칸이 없기 때문이에요. 한 막대에 방향은 하나예요.
AI가 새 일을 배우다 예전 일을 못 하게 되는 파괴적 망각이 이 쇠막대와 같아요.
자세히 알아보기
옛 지식과 새 지식이 같은 자리를 써요
신경망 안에는 조절할 수 있는 숫자가 빼곡히 들어 있어요. 이 숫자들이 "고양이 담당 칸"과 "강아지 담당 칸"으로 나뉘어 있지는 않아요. 두 지식 모두 같은 숫자 뭉치 위에 겹쳐서 얹혀 있어요.
새 과제를 학습시키면 그 숫자들이 새 과제가 잘 풀리는 쪽으로 조금씩 옮겨 가요. 옮겨 간 자리에서 옛 과제가 어떻게 되는지는 학습 과정이 확인하지 않아요. 막대를 반대로 문지르는 동안 앞서 배어든 방향이 밀려나는 것과 같은 일이 숫자 위에서 벌어져요.
칸막이가 없다는 것이 이 현상의 뿌리예요. 칸이 나뉘어 있다면 새 지식은 빈 칸에 들어가 앉으면 그만이지만, 실제로는 옛 지식이 쓰던 바로 그 숫자를 새 지식이 다시 써요.
지금 보이는 것만 채점해요
학습은 틀린 정도를 재고 그만큼 숫자를 옮기는 일이에요. 그런데 이 틀린 정도는 지금 손에 든 자료에서만 계산돼요. 새 자료만 넣고 돌리면 옛 실력이 아무리 무너져도 화면의 숫자는 계속 좋아져요. 학습이 순조로워 보이는데 실제로는 예전 능력이 빠져나가는 중인 셈이에요.
빠지는 속도도 빨라요. 설정에 따라서는 짧게만 이어 학습해도 예전 과제 정확도가 크게 떨어져요. 서서히 흐려지는 것이 아니라 뚝 떨어져서 이름에 '파괴적'이라는 말이 붙었어요.
특히 새 자료가 예전 자료와 성격이 많이 다를수록 심해요. 사진을 다루던 모델에 도표만 잔뜩 보여 주거나, 편한 말투로 답하던 모델에 딱딱한 문서만 보여 주면 옮겨 가야 할 거리가 멀어서 옛 자리가 크게 흔들려요.
옛 방향을 남기는 세 가지 방법
첫째는 옛 자료를 섞어 주는 방법이에요. 새 자료만 몰아 넣지 않고 예전 자료를 조금씩 함께 보여 줘요. 원본을 더 이상 쓸 수 없는 상황이면 예전 모델이 내놓던 답을 대신 섞기도 해요.
둘째는 중요한 값을 붙들어 매는 방법이에요. 옛 과제에 크게 기여한 숫자를 먼저 찾아 두고, 그 숫자가 많이 움직이면 벌점을 크게 매겨요. 덜 중요한 숫자에만 여유를 주는 방식이에요.
셋째는 부품을 따로 다는 방법이에요. 원래 숫자에는 손대지 않고 작은 부품을 옆에 붙여 새 과제만 그 부품이 맡게 해요. 문지르던 막대는 그대로 두고 새 막대를 하나 더 다는 셈이라, 필요하면 부품을 떼어 예전 상태로 돌아갈 수도 있어요.
조금씩, 확인하면서 가르쳐요
한 번에 크게 움직이지 않는 것도 큰 도움이 돼요. 한 걸음의 크기를 작게 잡고 짧게 가르치면 숫자가 원래 자리에서 멀리 벗어나지 않아요. 새 과제만 통째로 갈아 끼우는 대신 여러 과제를 섞어서 한꺼번에 가르치면 애초에 밀려날 일도 줄어요.
무엇보다 중요한 건 재 보는 일이에요. 새로 가르치기 전에 예전 과제 몇 가지를 골라 점수를 적어 두고, 다 가르친 뒤 같은 문제로 다시 재요. 새 과제 점수만 들여다보면 무엇이 사라졌는지 끝내 모른 채 넘어가게 돼요.
가르치기 전 상태를 파일로 남겨 두는 습관도 필요해요. 새 과제를 얻은 대신 잃은 것이 너무 크다고 판단되면, 남겨 둔 그 상태로 돌아가 자료 비율이나 걸음 크기를 바꿔 다시 시도할 수 있어요.
조금 더 정확하게
파괴적 망각(Catastrophic Forgetting)은 여러 과제를 차례로 학습시킬 때 나중 과제가 앞선 과제의 가중치를 덮어써 앞선 과제의 성능이 급격히 떨어지는 현상이에요. 이 문제를 다루는 분야를 연속 학습이라고 불러요. 앞서 말한 세 가지 방법은 각각 리허설, 규제화 기반 억제, 구조 분리라는 이름으로 정리돼요.
비유가 어긋나는 지점도 있어요. 쇠막대는 방향을 하나밖에 담지 못하지만 신경망 안의 숫자는 수억 개라, 서로 다른 능력이 겹쳐 살 자리가 어느 정도는 있어요. 그래서 자료를 잘 섞어 가르치면 여러 과제를 함께 쥐고 갈 수 있어요. 또 하나, 막대에서 빠져나간 자력은 정말 사라지지만 가중치는 없어진 게 아니라 옮겨진 상태예요. 그래서 옛 자료를 조금만 다시 보여 줘도 처음 배울 때보다 훨씬 빨리 실력이 돌아오는 경우가 많아요.
직접 해보기
흔한 오해
모델이 크면 다 기억할 여유가 있다고 생각하기 쉽지만, 실제로는 모델이 커도 새 자료만 반복해서 보여 주면 옛 과제 점수가 떨어져요. 크기가 망각을 막아 주지는 않아요.
새 지식을 더 넣었으니 전체적으로 똑똑해졌다고 여기기 쉽지만, 실제로는 새 과제 점수가 오르는 동안 재 보지 않은 과제가 조용히 무너지고 있을 수 있어요.
사람도 잊어버리니 비슷한 일이다라고 생각하기 쉽지만, 실제로는 사람의 망각은 서서히 흐려지는 쪽이고 이 현상은 짧은 학습만으로도 급격히 무너질 수 있는 쪽이라 성격이 달라요.
한 줄 요약
파괴적 망각은 옛 일과 새 일이 같은 값을 나눠 쓰는 탓에, 새 자료만으로 학습하면 옛 일에 쓰이던 값이 새 쪽으로 옮겨 가 예전 실력을 잃는 현상이고, 옛 자료를 조금 섞어 주고 예전 점수를 함께 재는 것이 기본 대비책이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정 2026-10-18