피드포워드Feed-Forward
신호가 앞으로만 흐르는 신경망 구조
- 피드포워드는 신호가 입력에서 출력 방향으로만 흐르는 구조예요. 되돌아오는 길이 없어요.
- 앞 층의 결과는 다음 층으로만 넘어가요. 그래서 한 번 지나간 자리는 다시 밟지 않아요.
- 앞에 나온 것을 담아 두는 통로가 없어서, 순서를 기억해야 하는 일은 다른 장치가 대신 맡아요.
- 트랜스포머 블록 안에도 피드포워드 층이 들어 있어요. 모델 숫자의 절반 이상이 여기에 몰려 있어요.
- 학습할 때 오차가 뒤에서 앞으로 되돌아가지만, 그건 계산 방향일 뿐 구조가 바뀌는 건 아니에요.
목차
1비유로 이해하기
급식실 배식 줄에 서면 식판을 들고 앞으로만 가요. 밥 받는 곳에서 국 받는 곳으로, 국에서 반찬으로, 반찬에서 후식으로. 반찬이 마음에 안 든다고 밥 받는 곳으로 되돌아갈 수는 없어요. 줄은 한 방향으로만 흘러요.
배식대마다 하는 일도 정해져 있어요. 국 담당은 국만 뜨고, 앞 칸에서 무엇을 받아 왔든 자기 국자만 써요. 식판이 마지막 칸을 지나면 한 끼가 완성돼요.
피드포워드 신경망도 이렇게 생겼어요. 숫자 묶음이 층이라는 배식대를 차례로 지나가고, 배식대마다 자기 몫의 계산을 얹어요. 마지막 배식대를 지나면 답이 나와요.
2자세히 알아보기
되돌아오는 길이 없다는 뜻
신경망 그림에서 화살표를 따라가 보면 두 종류가 보여요. 하나는 앞으로만 가는 화살표, 다른 하나는 자기 자신이나 앞쪽으로 되돌아가는 화살표예요. 피드포워드는 앞의 것만 있는 구조예요.
되돌아가는 길이 없으면 계산 순서가 단순해져요. 첫 층부터 마지막 층까지 한 번만 훑으면 답이 나오고, 같은 값을 넣으면 언제나 같은 순서로 계산돼요. 중간에 어떤 값을 담아 뒀다가 다음 차례에 써먹는 일도 없어요.
이 단순함이 속도로 이어져요. 되돌아가는 길이 없으면 층 안의 계산을 잘게 쪼개 한꺼번에 처리할 수 있어서, 수천 개의 계산을 동시에 굴리는 장비를 최대한 활용할 수 있어요.
기억하는 구조와 뭐가 다른가
글을 다루려면 앞에서 나온 말을 붙잡고 있어야 해요. 되돌아오는 길이 있는 구조는 이 문제를 순환으로 풀어요. 한 단어를 처리한 결과를 자기 자신에게 다시 넣어서, 다음 단어를 볼 때 앞의 흔적을 함께 참고해요.
대신 순서를 지켜야 하니 앞 단어가 끝나야 다음 단어를 시작할 수 있어요. 문장이 길어지면 기다리는 시간이 그대로 늘어나고, 앞쪽 흔적은 뒤로 갈수록 흐려져요.
피드포워드는 반대예요. 담아 두는 통로가 없는 대신 모든 자리를 한꺼번에 계산할 수 있어요. 요즘 언어 모델은 앞뒤 관계를 살피는 일을 어텐션에 맡기고 나머지 계산은 피드포워드로 처리해서, 두 방식의 장점을 나눠 가져요.
넓혔다가 다시 좁혀요
트랜스포머 블록 안의 피드포워드 층은 독특한 모양을 하고 있어요. 들어온 숫자 묶음을 한 번 크게 부풀렸다가 원래 폭으로 되접어요. 보통 네 배쯤 넓혔다 좁혀요.
넓히는 이유는 자리를 넉넉히 만들기 위해서예요. 좁은 자리에서 뒤엉켜 있던 특징들이 넓은 자리에서는 따로따로 펼쳐져요. 그 상태에서 필요 없는 신호를 눌러 끄고, 남은 것만 모아 다시 접어요.
이 부풀렸다 접는 과정에 모델의 숫자가 대량으로 들어가요. 어텐션이 화제를 모으는 쪽이라면 피드포워드는 모은 재료로 실제 판단을 만드는 쪽이에요. 학습으로 익힌 지식이 주로 여기에 담겨 있다고 보는 연구도 많아요.
자리마다 따로, 규칙은 똑같이
트랜스포머의 피드포워드 층은 문장 속 조각 하나하나에 따로 적용돼요. 첫 번째 조각과 열 번째 조각이 서로를 보지 않고 각자 같은 규칙으로 계산돼요.
그래서 조각이 몇 개든 계산을 한꺼번에 몰아서 할 수 있어요. 옆 조각을 기다릴 필요가 없으니까요. 조각끼리 정보를 주고받는 일은 바로 앞 단계에서 이미 끝나 있어요.
어텐션에서 서로 이야기를 나누고, 피드포워드에서 각자 생각을 정리하고, 다시 다음 층에서 이야기를 나눠요. 이 두 단계가 번갈아 반복되는 것이 요즘 모델의 기본 뼈대예요.
3조금 더 정확하게
피드포워드 신경망은 연결에 순환이 없는 신경망을 가리키는 말이에요. 다층 퍼셉트론이 가장 단순한 예이고, 사진을 다루는 합성곱 신경망도 순환이 없으니 피드포워드에 속해요. 트랜스포머 블록 속 피드포워드 층은 이 구조를 두 겹으로 쓴 것으로, 넓혔다 좁히는 사이에 음수를 눌러 없애는 활성화 함수가 한 번 들어가요.
비유가 어긋나는 곳도 있어요. 배식대는 식판에 반찬을 얹기만 하지만, 신경망의 층은 들어온 숫자를 통째로 새 숫자로 바꿔 내보내요. 앞 층의 값이 그대로 남아 있지 않아요. 또 배식대의 국자는 늘 같지만, 층이 쓰는 계산 규칙은 학습하는 동안 조금씩 바뀌어요. 학습이 끝난 뒤에야 고정돼요. 줄이 한 줄이라는 점도 달라요. 실제 모델에는 층을 건너뛰어 원래 값을 그대로 실어 나르는 통로가 나란히 붙어 있어서, 층의 결과가 그 값에 더해지는 식으로 흘러가요.
4직접 해보기
5흔한 오해
피드포워드가 트랜스포머 안의 특정 층 이름이라고 생각하기 쉽지만, 실제로는 되돌아오는 연결이 없는 구조 전체를 가리키는 말이에요.
역전파를 쓰니까 피드포워드가 아니다라고 헷갈리기 쉽지만, 실제로 오차를 되돌리는 건 학습할 때 하는 계산이고 신호가 흐르는 구조는 그대로 한 방향이에요.
단순한 층이라 별로 중요하지 않다고 넘기기 쉽지만, 실제로는 모델이 지닌 숫자의 절반 이상이 이 층에 들어 있어요.
7한 줄 요약
그러니까피드포워드는 신호가 앞으로만 흐르는 구조이고, 트랜스포머 안에서는 어텐션이 모아 온 재료를 각 자리에서 정리해 판단으로 바꾸는 층이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02