GPU

빠른 게 아니라 한꺼번에 많이

컴퓨터의 중앙 처리 장치는 힘센 일꾼 몇 명에 가까워요. 한 명 한 명이 아주 빠르고, 복잡한 판단이 섞인 일도 척척 해내요. 대신 사람 수가 적어요.

GPU는 반대예요. 단순한 계산만 할 줄 아는 작은 일꾼이 수천 명 들어 있어요. 한 명씩 붙여 놓고 겨루면 중앙 처리 장치 쪽이 이겨요. 그런데 똑같은 계산 수천 개를 한꺼번에 던지면 결과가 뒤집혀요.

그래서 두 장치를 고를 때 물어야 할 것은 "어느 쪽이 빠른가"가 아니라 "이 일이 한꺼번에 나눠질 수 있는 일인가"예요. 문서 한 줄을 고치는 일에는 차선 수천 개가 필요 없어요.

AI 계산이 이 장치와 잘 맞는 이유

신경망이 하는 일을 들여다보면 대부분이 숫자 표와 숫자 표를 곱하는 일이에요. 표의 칸마다 곱하고 더하는 계산이 들어가는데, 이 계산들은 서로를 기다릴 필요가 없어요. 첫 칸의 결과를 몰라도 백 번째 칸을 계산할 수 있거든요.

서로 기다릴 필요가 없다는 성질이 결정적이에요. 차선을 늘린 만큼 그대로 빨라지니까요. 화면에 점을 찍는 일도 마찬가지 성질을 가지고 있었고, 그래서 화면용으로 만들어진 부품이 AI 계산에 그대로 들어맞았어요.

반대로 앞의 답이 나와야 다음 계산을 시작할 수 있는 일에는 이 장점이 통하지 않아요. 차선을 아무리 늘려도 차가 한 대씩만 들어오면 나머지 차선은 비어 있어요.

헷갈리는 세 가지를 갈라 볼게요

같이 나오지만 서로 다른 이야기가 셋 있어요. 연산량은 해야 할 일이 몇 번인가를 세는 말이에요. 장비를 늘려도 이 숫자는 줄지 않고, 모델이 커지거나 입력이 길어질 때 늘어나요.

그래픽 메모리는 계산할 숫자를 펼쳐 둘 자리예요. 자리가 모자라면 느려지는 게 아니라 아예 시작을 못 해요. 이건 넓이 문제라 차선 수와 상관이 없어요.

GPU는 그 일을 실제로 처리하는 장치고, 차선이 몇 개인가에 해당해요. 답이 늦게 나올 때 무엇을 손봐야 할지는 셋 중 어디가 막혔는지에 달려 있어요. 자리가 모자라 멈춘 것을 두고 차선을 늘려 봐야 소용없어요.

학습과 추론에서 하는 일이 달라요

학습은 이 장치가 가장 좋아하는 일이에요. 데이터를 수십 수백 개씩 묶어 한꺼번에 밀어 넣으니 차선이 꽉 차고, 며칠씩 쉬지 않고 돌아가요. 큰 모델을 만들 때 장비를 수백 대씩 묶는 이유예요.

답을 만들어 내는 쪽은 사정이 조금 달라요. 문장을 한 조각씩 이어 붙이는 방식이라 앞 조각이 나와야 다음 조각을 시작할 수 있고, 그 사이에 차선이 남아돌아요. 그래서 서비스에서는 여러 사람의 요청을 한 묶음으로 모아 함께 처리해 차선을 채워요. 접속자가 적은 새벽에 오히려 장비가 놀고 있는 것도 같은 이유예요.

그래픽 장치만 쓰는 건 아니에요

AI 계산을 위해 따로 만든 칩도 있어요. 화면 그리는 기능을 덜어 내고 곱셈과 덧셈에만 집중한 칩들인데, 이름은 회사마다 달라요. 스마트폰 안에도 사진 보정과 음성 인식을 맡는 작은 가속기가 들어 있어요.

웹 브라우저도 이제 그래픽 장치를 빌려 쓸 수 있어요. 설치 없이 페이지를 여는 것만으로 AI 모델이 도는 체험 도구들이 나온 것도 이 덕분이에요.