에이전트와 환경Agent & Environment
행동하는 쪽과 그 행동에 반응하는 판
- 강화학습은 판을 둘로 갈라 놓고 시작해요. 행동하는 쪽이 에이전트, 그 행동을 받아 반응하는 나머지 전부가 환경이에요.
- 둘 사이에는 세 가지가 오가요. 환경이 보여 주는 상태, 에이전트가 고르는 행동, 그리고 돌아오는 점수예요.
- 이 셋이 한 걸음마다 되풀이돼요. 행동이 판을 바꾸고, 바뀐 판이 다음 행동을 부르는 고리예요.
- 에이전트가 판 전체를 다 보지 못하는 경우가 많아요. 이때 보이는 것과 실제 상태는 다른 것이에요.
- 어디까지를 에이전트로 볼지는 사람이 긋는 선이에요. 마음대로 바꿀 수 있는 부분만 에이전트고, 나머지는 전부 환경이에요.
목차
1비유로 이해하기
장기판 앞에 마주 앉으면 세상이 둘로 갈려요. 한쪽에는 말을 집어 옮기는 쪽이 있고, 다른 쪽에는 판과 그 위에 놓인 모든 말이 있어요. 옮기는 쪽이 할 수 있는 일은 딱 하나, 지금 판을 보고 말 하나를 어디로 옮길지 고르는 것뿐이에요. 판을 손으로 뒤엎거나 상대의 응수를 정할 수는 없어요. 한 수를 두면 판이 바뀌고, 상대가 응수하면 판이 또 바뀌어요. 그러면 새로 펼쳐진 판을 보고 다시 다음 한 수를 골라요. 판은 왜 그 수가 좋았는지 설명해 주지 않고, 그저 달라진 모습만 보여 줘요. 실력이 느는 자리는 판이 아니라 고르는 쪽이에요. 이 두 자리가 강화학습의 에이전트와 환경이에요.
2자세히 알아보기
고르는 쪽과 받아 주는 쪽
에이전트는 결정을 내리는 쪽이에요. 가진 것은 지금 보이는 판과 고를 수 있는 행동 목록뿐이고, 그중 하나를 골라 내미는 일만 해요. 환경은 그 행동을 받아 규칙대로 처리하고, 바뀐 판과 점수를 돌려주는 쪽이에요. 게임의 규칙, 상대의 응수, 물리 법칙, 그날의 운까지 에이전트가 아닌 것은 전부 환경 쪽에 들어가요.
이렇게 가른 이유는 배울 자리를 분명히 하기 위해서예요. 고쳐 나갈 수 있는 것은 에이전트가 고르는 방식뿐이에요. 환경이 어떻게 반응할지는 바꿀 수 없고 다만 겪으며 알아 갈 뿐이에요. 어디까지가 내 손이고 어디부터가 판인지 긋는 선이 문제를 푸는 첫걸음이 돼요.
한 걸음마다 도는 고리
한 걸음은 세 박자로 이뤄져요. 먼저 환경이 지금 판을 보여 줘요. 이걸 상태라고 불러요. 에이전트는 그 상태를 보고 행동 하나를 골라요. 환경은 행동을 받아 판을 바꾸고, 새 상태와 함께 점수를 돌려줘요. 그러면 다시 처음으로 돌아가 같은 세 박자가 이어져요.
이 고리가 수만 번 수백만 번 돌아가는 동안 에이전트는 어떤 상태에서 어떤 행동을 골랐을 때 점수가 좋았는지를 조금씩 쌓아요. 그 쌓인 것을 바탕으로 상황마다 무엇을 할지 정한 방침이 다듬어져요. 이 방침을 정책이라고 불러요.
보이는 것과 실제 판은 달라요
장기는 판이 통째로 보이지만 세상일이 늘 그렇지는 않아요. 안개가 낀 게임이라면 상대 진영이 가려져 있고, 카메라 한 대로 앞만 보는 로봇이라면 등 뒤에서 무슨 일이 벌어지는지 모르죠. 이때 에이전트가 받는 것은 판의 진짜 상태가 아니라 잘라서 보여 준 한 조각이에요.
이 조각만 보고 결정하면 같은 화면인데 실제 상황은 전혀 다른 경우에 걸려 넘어져요. 그래서 최근 몇 걸음의 화면을 함께 묶어서 보거나, 지금까지 본 것을 요약해 지니고 다니는 방식을 써요. 판이 다 보이지 않을수록 문제는 훨씬 어려워져요.
선을 어디에 그을지가 문제를 바꿔요
로봇 팔로 물건을 집는 문제를 생각해 볼게요. 팔의 관절을 직접 돌리는 것을 행동으로 삼으면 팔의 모터는 환경 쪽에 들어가고, 문제는 아주 잘게 쪼개져요. 대신 "왼쪽 물건을 집어라" 같은 큰 지시를 행동으로 삼으면 팔의 움직임 전체가 환경 안으로 들어가고, 결정 횟수는 확 줄어요.
어느 쪽이 옳다고 정해져 있지 않아요. 다만 흔히 쓰는 기준이 있어요. 에이전트가 마음대로 바꿀 수 있는 것만 에이전트 안에 두는 거예요. 배터리가 닳는 속도나 바닥의 마찰처럼 어쩔 수 없는 것은 몸에 붙어 있어도 환경으로 봐요.
한 판이 끝나면 처음부터
장기 한 판이 끝나면 말을 제자리에 놓고 새 판을 시작해요. 강화학습에서도 시작과 끝이 있는 문제를 한 판씩 끊어서 다뤄요. 이 한 판을 에피소드라고 불러요. 판이 끝날 때마다 성적이 남고, 수천 판을 쌓으며 실력이 올라가요.
끝이 없는 문제도 있어요. 공장 설비를 계속 조절하거나 서버 부하를 계속 나누는 일에는 마지막 수가 없어요. 이런 문제에서는 판을 끊는 대신 먼 미래의 점수를 조금씩 깎아 더하며 총점을 다뤄요.
3조금 더 정확하게
에이전트와 환경의 상호작용은 보통 마르코프 결정 과정(Markov Decision Process)이라는 틀로 적어요. 상태, 행동, 상태가 바뀌는 확률, 보상, 할인율로 이뤄진 다섯 가지 묶음이에요. 여기에는 지금 상태만 알면 다음이 결정된다는 가정이 깔려 있어요. 가려진 부분이 있어 이 가정이 깨지면 부분 관측 문제로 따로 다루고, 이때 에이전트가 받는 것은 상태가 아니라 관측이라고 불러요.
비유가 어긋나는 지점도 있어요. 장기의 상대는 생각하는 존재지만 강화학습의 환경은 그저 규칙에 따라 반응하는 쪽으로 다뤄져요. 상대가 있는 게임이라도 상대의 수까지 환경의 일부로 묶어 버리는 것이 보통이에요. 또 장기는 두 사람이 번갈아 두지만, 많은 강화학습 문제에서는 환경이 에이전트의 차례를 기다려 주지 않고 시간이 계속 흘러요.
4직접 해보기
5흔한 오해
에이전트는 로봇이나 프로그램의 몸 전체를 가리킨다고 생각하기 쉽지만, 실제로는 결정을 내리는 부분만 에이전트이고 모터나 배터리처럼 마음대로 바꿀 수 없는 부분은 환경이에요.
환경은 게임 화면처럼 눈에 보이는 무대라고 여기기 쉽지만, 실제로는 규칙과 상대와 운까지 포함해 에이전트가 아닌 모든 것을 가리켜요.
에이전트는 환경의 상태를 다 알고 있다고 믿기 쉽지만, 실제로는 잘라서 보여 준 조각만 받는 경우가 훨씬 많아요.
7한 줄 요약
그러니까에이전트는 판을 보고 한 수를 고르는 쪽이고 환경은 그 수를 받아 새 판과 점수를 돌려주는 쪽이며, 강화학습은 이 둘 사이의 고리를 돌리는 일이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02