Muestreo Top-pTop-p Sampling
Elegir solo entre los candidatos recortados desde arriba
- El Top-p es el ajuste que ordena a los candidatos a la siguiente palabra de mayor a menor probabilidad y los recorta desde arriba.
- El criterio para cortar no es la cantidad, sino la suma de probabilidad. Se va sumando desde arriba y, al llegar a la parte fijada, ahí se corta.
- Por eso el número de candidatos que quedan cambia según el momento. En un lugar obvio quedan uno o dos; en uno dudoso, decenas.
- Elegir entre los candidatos que quedan después del recorte lo hace el muestreo; ajustar la distancia entre ellos lo hace la temperatura.
- Con un valor cercano a 1 casi no se recorta nada; cuanto más se baja, más seguro pero también más repetitivo.
Contenido
1La analogía
Al entrar en un estacionamiento subterráneo no te pones a considerar todos los lugares libres como candidatos. Vas mirando desde la entrada y en algún punto decides: "hasta esta fila y ya está". Eliges un lugar dentro de esa zona, y los del fondo ni los consideras.
La IA puede trazar una línea parecida al elegir la siguiente palabra. Ordena los candidatos de mayor a menor probabilidad, va metiéndolos desde arriba y, en cuanto se llena la parte fijada, corta ahí. Los candidatos que quedan fuera pierden su condición de candidatos. Esta forma de recortar desde arriba el rango del que se puede elegir es el Top-p.
Aunque se trace la misma línea, cuántos lugares entran cambia cada día. Un día casi lleno, dentro de la línea solo cabe un lugar; un día tranquilo, entran más de diez. No es la posición de la línea, sino la situación de ese día, lo que decide cuántos candidatos quedan.
2En detalle
Se mete desde arriba y se corta
El proceso tiene tres pasos. Primero se ordenan los candidatos de mayor a menor probabilidad. Después se van metiendo uno por uno desde arriba, sumando la probabilidad a medida que se avanza. Cuando esa suma llega a la parte fijada, se corta ahí y solo se conservan los candidatos ya metidos.
Si la parte se fija en 0,9, se mete desde arriba hasta completar el 90%. Si un solo candidato ya supera el 90%, ese uno solo basta. Al revés, si hay muchos candidatos parecidos en fila, se pueden meter veinte y aun así no llegar al 90%.
Los candidatos que quedan tras el corte vuelven a repartirse la parte entre ellos. La parte que se recortó pasa a los que quedan, así que la oportunidad del que iba segundo, por ejemplo, crece un poco.
Lo clave es que el número de candidatos cambia según el momento
Después de "la capital de Corea del Sur es", la palabra siguiente ya está prácticamente decidida. Aquí, no importa dónde se trace la línea, queda un solo candidato. No hay hueco para que se cuele algo raro.
Después de "los fines de semana suelo", la cosa cambia. Hay decenas de palabras posibles y todas resultan más o menos naturales. Aquí, dentro de la línea entran varios candidatos y la expresión se diversifica.
Gracias a esta propiedad, el Top-p cubre las dos situaciones con un mismo valor. Se estrecha solo en el lugar obvio y se ensancha solo en el dudoso. Es como usar el mismo criterio tanto en el día lleno como en el tranquilo, sin que dé problemas.
Es distinto a recortar por cantidad
También existe la forma de dejar solo los primeros de la lista, un número fijo, digamos cuarenta. Es simple de construir, pero no lee la situación.
En un lugar obvio, deja igualmente cuarenta candidatos, así que abajo se cuelan muchos que suenan raros. Al revés, en un lugar donde hay cerca de cien candidatos parecidos entre sí, cortar en cuarenta elimina de golpe expresiones que valía la pena conservar.
En el estacionamiento sería como fijar de antemano "solo miro los primeros cinco lugares". En un día vacío se miran solo cinco, y en un día lleno también se insiste en llenar esos cinco. El Top-p evita este problema cortando por proporción en vez de por cantidad.
Cómo poner el valor
La mayoría de los servicios lo dejan por defecto entre 0,9 y 0,95. Es un punto que quita solo las palabras de probabilidad muy baja y conserva el rango de expresión. Si no hay una razón especial, conviene no tocarlo.
Al bajar el valor, el rango de candidatos se estrecha. Ayuda en tareas donde importan los hechos o en documentos con formato fijo, pero si se baja demasiado, la misma expresión se repite y el texto aburre. Con el valor en 1 no se recorta nada: quedan todos los candidatos.
Si se mueve junto con la temperatura, cuesta saber cuál causó el cambio. Conviene dejar una en su valor por defecto y mover solo la otra, probando la misma frase varias veces para hacerse una idea.
Junto a la temperatura y el muestreo
Los tres son cosas distintas puestas en fila. La temperatura ensancha o estrecha la distancia entre candidatos. El Top-p recorta desde arriba, sobre esa fila ya ordenada. El muestreo saca de verdad uno de los que quedan.
En términos del estacionamiento: la temperatura decide cuánta diferencia se le da a la puntuación de cada lugar; el Top-p decide hasta qué fila se mira; el muestreo elige el lugar dentro de esa zona.
Ninguno de los tres fabrica la lista de candidatos. La lista la entrega el modelo de nuevo en cada trozo; estos ajustes solo deciden cómo usarla.
3Con más precisión
El Top-p también se conoce como muestreo núcleo. Ordena los candidatos de mayor a menor probabilidad y conserva solo el conjunto más pequeño cuya probabilidad acumulada llega al valor fijado; después reparte de nuevo la probabilidad de los que quedan para que sume 1, y elige entre ellos. La temperatura se aplica primero, fijando la distribución de probabilidad, y el recorte ocurre después, sobre esa distribución.
La analogía también tiene sus costuras. En el estacionamiento, una vez elegido el lugar, la decisión de ese día termina, pero este recorte ocurre de nuevo cada vez que se elige un trozo de texto. Dentro de una misma frase, el número de candidatos puede pasar de uno a veinte y volver a cambiar, una y otra vez. Además, en el estacionamiento se ve a simple vista qué lugar está cerca, pero la probabilidad de un candidato es un valor calculado por dentro del modelo, que una persona no puede saber de antemano. Por eso, cuánto se mueve el resultado al cambiar un poco el valor solo se sabe probándolo varias veces. Y a diferencia de una fila de autos, aquí no hay ningún orden físico que recorrer: el corte se calcula de un solo golpe sobre la lista entera.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que el Top-p fija la cantidad de candidatos, pero en realidad corta por la suma de probabilidad, así que el número que queda cambia según el momento.
Es fácil pensar que con el Top-p en 1 sale cualquier cosa, pero en realidad solo deja de recortar; el principio de elegir según la probabilidad se mantiene igual.
Es fácil pensar que bajar juntos la temperatura y el Top-p da más exactitud, pero en realidad solo vuelve la expresión más previsible, sin garantizar que los hechos sean más ciertos.
7Resumen en una línea
En resumenEl Top-p es como trazar una línea en el estacionamiento y decir "hasta aquí": mete candidatos desde el más probable hasta llenar la parte fijada, corta ahí, y solo elige dentro de ese grupo.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02