Límite de usoRate Limit

Las casillas no son de un solo tipo

La casilla más común es la de solicitudes por minuto. Fija cuántas veces puede llamar una sola persona en un minuto. Un programa que lanza preguntas cortas sin parar es el primero en chocar con esta casilla.

La segunda casilla es la de trozos por minuto. Aunque el número de llamadas sea bajo, si de una sola vez se mete un documento muy largo, esta casilla se llena antes. Meter un texto largo de una vez a veces pesa más que decenas de preguntas cortas.

La tercera casilla es la de solicitudes en curso al mismo tiempo. Si mientras se espera la respuesta de una solicitud se siguen empujando solicitudes nuevas, esta casilla se llena. Sumando además las casillas que se cuentan por día, hay varias casillas activas a la vez, y basta con que una sola se llene para quedar bloqueado.

Qué pasa cuando se llena la casilla

Si se envía una solicitud con la casilla llena, en lugar de una respuesta llega una señal de rechazo. No es que la solicitud esté mal armada, sino que en ese momento no hay lugar; si se envía la misma solicitud un poco más tarde, se procesa sin problema.

Junto con el rechazo suele venir un aviso de cuánto tiempo esperar antes de volver a intentarlo. Un programa bien hecho lee ese aviso y espera ese tiempo antes de reenviar. Si se ignora el aviso y se vuelve a lanzar de inmediato, solo se acumulan más rechazos, y esos rechazos también ocupan casilla, así que el bloqueo termina durando más.

Por eso se usa mucho la estrategia de ir alargando el tiempo de espera cada vez que falla: esperar poco la primera vez y, si vuelve a bloquearse, esperar el doble la siguiente.

Por qué se traza la casilla

Para que la IA arme una respuesta, el equipo de cálculo tiene que quedar dedicado a esa tarea durante ese tiempo. Es como cuando una atracción solo puede llevar a un número fijo de personas por vuelta. Sin casillas, quien manda más solicitudes se queda con todo el espacio y el resto se pasa esperando sin fin.

También tiene el sentido de prevenir accidentes. Es frecuente que un programa mal hecho repita la misma solicitud sin parar. Sin la casilla, ese error se convierte tal cual en la factura de varios días. El límite es a la vez la cerca que protege al servicio y la que protege el bolsillo de quien lo usa.

Cómo usar bien la casilla disponible

Primero, agrupa los envíos. Si en vez de mandar diez solicitudes parecidas por separado se pueden juntar en una sola, se ahorra mucho de la casilla de cantidad.

Segundo, no preguntes lo mismo dos veces. Si se guarda un rato la respuesta ya recibida y se reutiliza cuando vuelve la misma pregunta, se ahorra casilla y también tiempo de espera.

Tercero, recorta el texto que envías. Quitar el aviso largo que se pega cada vez o los documentos que no hacen falta deja mucho más margen en la casilla de trozos.

Cuarto, posterga lo que no es urgente. Si la pantalla que espera a una persona y una tarea de orden que puede correr de noche comparten la misma casilla, con solo mover la tarea nocturna a una franja tranquila a veces desaparece el bloqueo del día. La idea básica no es eliminar el límite, sino administrarlo con cuidado dentro de lo que hay.