Renderizado de imágenes 3D a partir de imagenes 2D ​

Proponemos MVDream, un modelo de difusión multivista capaz de generar imágenes multivista geométricamente coherentes a partir de un texto determinado. Aprovechando los modelos de difusión de imágenes preentrenados en conjuntos de datos web a gran escala y un conjunto de datos multivista renderizados a partir de activos 3D, el modelo de difusión multivista resultante puede lograr tanto la generalizabilidad de la difusión 2D como la coherencia de los datos 3D. Por tanto, este modelo puede aplicarse como un previo multivista para la generación 3D mediante Score Distillation Sampling, donde mejora enormemente la estabilidad de los métodos de elevación 2D existentes al resolver el problema de consistencia 3D. Por último, mostramos que el modelo de difusión multivista también puede ajustarse con precisión en un entorno de pocas tomas para la generación 3D personalizada, es decir, la aplicación DreamBooth3D, donde la consistencia puede mantenerse tras conocer la identidad del sujeto.