GPU

No es rápida, es que hace muchas cosas a la vez

El procesador central de una computadora se parece a unos pocos trabajadores muy fuertes. Cada uno es muy rápido y resuelve sin problema tareas con juicios complicados de por medio. A cambio, son pocos.

La GPU es lo contrario. Adentro hay miles de trabajadores pequeños que solo saben hacer cálculos simples. Si se los enfrenta uno contra uno, gana el procesador central. Pero si se le lanzan miles de esos mismos cálculos a la vez, el resultado se da vuelta.

Por eso, al elegir entre los dos chips, la pregunta no es "cuál es más rápido", sino "¿este trabajo se puede repartir en partes que corran a la vez?". Corregir una línea de un documento no necesita miles de carriles.

Por qué el cálculo de IA le sienta bien a este chip

Al mirar por dentro lo que hace una red neuronal, casi todo es multiplicar una tabla de números por otra tabla de números. En cada casilla de la tabla hay que multiplicar y sumar, y esos cálculos no necesitan esperarse entre sí: se puede calcular la casilla número cien sin saber el resultado de la primera.

Que no haga falta esperarse entre sí es lo decisivo. Cuantos más carriles se agregan, más rápido va, en la misma proporción. Pintar puntos en una pantalla tenía esa misma propiedad, así que un chip hecho para gráficos terminó encajando perfecto en el cálculo de IA.

En cambio, en una tarea donde hace falta el resultado anterior para empezar el siguiente cálculo, esta ventaja no funciona. Por más carriles que se agreguen, si los autos entran de a uno, el resto de los carriles queda vacío.

Separemos tres cosas que se confunden

Hay tres cosas que aparecen juntas pero son distintas. El cómputo cuenta cuántas veces hay que hacer el trabajo. Este número no baja aunque se agregue más equipo: crece cuando el modelo se hace más grande o cuando la entrada se alarga.

La memoria de video es el espacio donde se despliegan los números por calcular. Si el espacio no alcanza, no es que vaya más lento: directamente no puede empezar. Es un problema de espacio, así que no tiene nada que ver con el número de carriles.

La GPU es el chip que procesa ese trabajo de verdad, y corresponde al número de carriles. Cuando una respuesta tarda en llegar, qué hay que revisar depende de cuál de las tres está trabada. Si lo que frenó todo fue la falta de espacio, agregar carriles no sirve de nada.

El entrenamiento y la inferencia le exigen cosas distintas

El entrenamiento es la tarea que más le gusta a este chip. Los datos entran empujados en bloques de decenas o cientos a la vez, así que los carriles quedan llenos y el chip trabaja sin parar durante días. Por eso, para construir un modelo grande, se juntan cientos de estos chips a la vez.

Dar la respuesta final es un poco distinto. Como el texto se arma pegando pedazo tras pedazo, hace falta el pedazo anterior para empezar el siguiente, y de por medio quedan carriles vacíos. Por eso, en los servicios, se juntan varias solicitudes de distintas personas en un solo lote para llenar los carriles. Que el equipo quede ocioso en la madrugada, cuando hay pocas conexiones, tiene la misma razón de fondo.

No siempre es un chip gráfico

También hay chips hechos a propósito para el cálculo de IA, sin la función de dibujar pantallas y concentrados solo en multiplicar y sumar; el nombre cambia según la empresa. Hasta un teléfono trae un pequeño acelerador para mejorar fotos y reconocer voz.

El navegador también puede usar hoy el chip gráfico, y por eso ya hay herramientas donde un modelo de IA corre con solo abrir una página, sin instalar nada.