Gaussian Splatting

El montón de piezas nace de varias fotos

Todo empieza con decenas de fotos del mismo objeto desde ángulos distintos. Primero se comparan las fotos entre sí para calcular desde dónde se tomó cada una, usando como pista los bordes que se repiten en varias imágenes.

Con la posición de la cámara resuelta, se esparcen piezas al azar en el espacio. Al principio están en lugares equivocados y con colores equivocados. Desde ese estado, se genera una imagen de cómo se vería el montón de piezas desde el mismo punto que la foto original, y se compara con la foto real.

Donde hay diferencia, se mueve la pieza, se cambia su tamaño, se corrige su color. Repetir esto decenas de miles de veces hace que las piezas terminen pegadas a la superficie del objeto. No es una persona pegando piezas: son las fotos las que deciden dónde va cada una.

El valor que guarda cada pieza

Una pieza no es una esfera, sino un óvalo aplanado. Guarda dónde está, qué tan grande es y hacia qué lado se estira, de qué color es y cuánto se transparenta por detrás.

En superficies planas como una pared o un piso bastan pocas piezas, bien aplanadas. En zonas con muchos detalles, como hojas o una malla metálica, se amontonan piezas pequeñas y densas. Como cada pieza cambia de forma según lo que hace falta, las zonas simples usan pocas y las complejas usan muchas.

Al dibujar, se aplasta y se pinta encima

Para mostrar la escena en pantalla, cada pieza se aplana en la dirección desde donde se mira y se proyecta sobre la pantalla. Luego se pintan en orden, de la más lejana a la más cercana. Si la pieza de adelante es semitransparente, el color de atrás se filtra y se mezcla; si es opaca, tapa lo de atrás.

Este método no sigue el camino de la luz punto por punto, así que es muy rápido. Por eso la escena no se traba al girarla con el mouse. Que se pueda recorrer en tiempo real es la razón de que este método se haya extendido tan rápido.

Se agregan y se borran piezas para afinar el resultado

Mientras se construye, la cantidad de piezas cambia todo el tiempo. Donde el ajuste con las fotos no cuadra, una pieza se divide en dos o se agrega una nueva. Al revés, una pieza que se volvió casi transparente y ya no aporta nada se borra.

Al terminar, el número de piezas va de cientos de miles a varios millones, según la escena. Como cada pieza guarda varios valores, el archivo resulta bastante pesado. A cambio, como las piezas son un bloque visible, después se puede editar seleccionando o moviendo solo una parte.

Dónde se separa de NeRF

Ambos métodos construyen, a partir de varias fotos, una escena que se puede ver desde cualquier ángulo. Lo que los separa es en qué guardan el resultado. Splatting lo guarda como un montón de piezas visibles; NeRF lo guarda como una regla de cálculo que devuelve un valor de luz al recibir un punto y una dirección del espacio.

Por eso también cambia cómo se dibuja. Splatting aplasta y pinta encima; NeRF lanza una línea de visión por cada punto de la pantalla y pregunta el valor varias veces a lo largo de esa línea. El que pregunta más veces es el más lento.