Puntos clave
- El Top-p es el ajuste que ordena a los candidatos a la siguiente palabra de mayor a menor probabilidad y los recorta desde arriba.
- El criterio para cortar no es la cantidad, sino la suma de probabilidad. Se va sumando desde arriba y, al llegar a la parte fijada, ahí se corta.
- Por eso el número de candidatos que quedan cambia según el momento. En un lugar obvio quedan uno o dos; en uno dudoso, decenas.
- Elegir entre los candidatos que quedan después del recorte lo hace el muestreo; ajustar la distancia entre ellos lo hace la temperatura.
- Con un valor cercano a 1 casi no se recorta nada; cuanto más se baja, menos varía la respuesta pero más tiende a repetirse.
La analogía
Al entrar en un estacionamiento subterráneo no te pones a considerar todos los lugares libres como candidatos. Vas mirando desde la entrada y en algún punto decides: "hasta esta fila y ya está". Eliges un lugar dentro de esa zona, y los del fondo ni los consideras.
La IA puede trazar una línea parecida al elegir la siguiente palabra. Ordena los candidatos de mayor a menor probabilidad, va metiéndolos desde arriba y, en cuanto se llena la parte fijada, corta ahí. Los candidatos que quedan fuera pierden su condición de candidatos. Esta forma de recortar desde arriba el rango del que se puede elegir es el Top-p.
Aunque se trace la línea con la misma parte, cuántos lugares entran cambia cada día. Un día casi lleno, dentro de la línea solo cabe un lugar; un día tranquilo, entran más de diez. No es la parte fijada, sino la situación de ese día, lo que decide cuántos candidatos quedan.
En detalle
Se mete desde arriba y se corta
El proceso tiene tres pasos. Primero se ordenan los candidatos de mayor a menor probabilidad. Después se van metiendo uno por uno desde arriba, sumando la probabilidad a medida que se avanza. Cuando esa suma llega a la parte fijada, se corta ahí y solo se conservan los candidatos ya metidos.
Si la parte se fija en 0,9, se mete desde arriba hasta completar el 90%. Si un solo candidato ya supera el 90%, ese uno solo basta. Al revés, si hay muchos candidatos parecidos en fila, se pueden meter veinte y aun así no llegar al 90%.
Los candidatos que quedan tras el corte vuelven a repartirse la parte entre ellos. La parte que se recortó pasa a los que quedan, así que la oportunidad del que iba segundo, por ejemplo, crece un poco.
Lo clave es que el número de candidatos cambia según el momento
Después de "la capital de Corea del Sur es", la palabra siguiente ya está prácticamente decidida. Aquí, con un valor de los que se usan normalmente, queda un solo candidato o casi uno solo. No hay hueco para que se cuele algo raro.
Después de "los fines de semana suelo", la cosa cambia. Hay decenas de palabras posibles y todas resultan más o menos naturales. Aquí, dentro de la línea entran varios candidatos y la expresión se diversifica.
Gracias a esta propiedad, el Top-p cubre las dos situaciones con un mismo valor. Se estrecha solo en el lugar obvio y se ensancha solo en el dudoso. Es como usar el mismo criterio tanto en el día lleno como en el tranquilo, sin que dé problemas.
Es distinto a recortar por cantidad
También existe la forma de dejar solo los primeros de la lista, un número fijo, digamos cuarenta. Es simple de construir, pero no lee la situación.
En un lugar obvio, deja igualmente cuarenta candidatos, así que abajo se cuelan muchos que suenan raros. Al revés, en un lugar donde hay cerca de cien candidatos parecidos entre sí, cortar en cuarenta elimina de golpe expresiones que valía la pena conservar.
En el estacionamiento sería como fijar de antemano "solo miro los primeros cinco lugares". En un día vacío se miran solo cinco, y en un día lleno también se insiste en llenar esos cinco. El Top-p evita este problema cortando por proporción en vez de por cantidad.
Cómo poner el valor
El valor por defecto cambia según el servicio. Muchos lo dejan en 1 (sin recortar) y otros entre 0,9 y 0,95. Ese rango quita solo las palabras de probabilidad muy baja y conserva el rango de expresión. Si no hay una razón especial, conviene no tocarlo.
Al bajar el valor, el rango de candidatos se estrecha. Ayuda en tareas donde se quiere que la respuesta varíe menos o en documentos con formato fijo (no hace que los hechos sean más ciertos), pero si se baja demasiado, la misma expresión se repite y el texto aburre. Con el valor en 1 no se recorta nada: quedan todos los candidatos.
Si se mueve junto con la temperatura, cuesta saber cuál causó el cambio. Conviene dejar una en su valor por defecto y mover solo la otra, probando la misma frase varias veces para hacerse una idea.
Junto a la temperatura y el muestreo
Los tres son cosas distintas puestas en fila. La temperatura ensancha o estrecha la distancia entre candidatos. El Top-p recorta desde arriba, sobre la fila de candidatos. El muestreo saca de verdad uno de los que quedan.
En términos del estacionamiento: la temperatura decide cuánta diferencia se le da a la puntuación de cada lugar; el Top-p decide hasta qué fila se mira; el muestreo elige el lugar dentro de esa zona.
Ninguno de los tres fabrica la lista de candidatos. La lista la entrega el modelo de nuevo en cada trozo; estos ajustes solo deciden cómo usarla.
Con más precisión
El Top-p también se conoce como muestreo núcleo. Ordena los candidatos de mayor a menor probabilidad y conserva solo el conjunto más pequeño cuya probabilidad acumulada llega al valor fijado; después reparte de nuevo la probabilidad de los que quedan para que sume 1, y elige entre ellos. En muchas implementaciones la temperatura se aplica primero, fijando la distribución de probabilidad, y el recorte ocurre después; pero algunas herramientas recortan primero y aplican la temperatura después. Si cambia el orden, los mismos valores pueden dejar candidatos distintos.
La analogía también tiene sus costuras. En el estacionamiento, una vez elegido el lugar, la decisión de ese día termina, pero este recorte ocurre de nuevo cada vez que se elige un trozo de texto. Dentro de una misma frase, el número de candidatos puede pasar de uno a veinte y volver a cambiar, una y otra vez. Además, la línea del estacionamiento está pintada fija en el suelo, pero la del Top-p no es un lugar fijo: es el punto donde la probabilidad sumada desde arriba llega a la parte fijada. Así que lo fijo es la parte, y cuántos candidatos quedan antes de la línea cambia de un momento a otro. También, en el estacionamiento se ve a simple vista qué lugar está cerca, pero la probabilidad de un candidato es un valor calculado por dentro del modelo, que una persona no puede saber de antemano. Por eso, cuánto se mueve el resultado al cambiar un poco el valor solo se sabe probándolo varias veces.
Pruébalo
- Ai2 Playground (prueba modelos abiertos) ailearn.space En la configuración "Parameters", deja Temperature fija y baja solo Top P, y envía la misma pregunta varias veces. Así puedes comprobar si las respuestas se parecen más a medida que lo bajas
- Transformer Explainer (cómo funciona un transformer) ailearn.space Si cambias el muestreo a Top-p y bajas el valor, verás que de las palabras candidatas solo quedan unas pocas, las de mayor probabilidad
Malentendidos comunes
Es fácil pensar que el Top-p fija la cantidad de candidatos, pero en realidad corta por la suma de probabilidad, así que el número que queda cambia según el momento.
Es fácil pensar que con el Top-p en 1 sale cualquier cosa, pero en realidad solo deja de recortar; el principio de elegir según la probabilidad se mantiene igual.
Es fácil pensar que bajar juntos la temperatura y el Top-p da más exactitud, pero en realidad solo vuelve la expresión más previsible, sin garantizar que los hechos sean más ciertos.
Resumen en una línea
El Top-p es como trazar una línea en el estacionamiento y decir "hasta aquí": mete candidatos desde el más probable hasta llenar la parte fijada, corta ahí, y solo elige dentro de ese grupo.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-18