shap-E de openAI genera objetos de texto a impresión 3D

Shap-E como modelo generativo condicional para activos 3d

Los investigadores de OpenAI Heewoo Jun y Alex Nichol han presentado un nuevo modelo de inteligencia artificial que puede crear activos de modelos 3D listos para la impresión mecánica utilizando texto y descripciones. Bautizado como ‘Shap-E’, el software de conversión de texto en activos de modelos 3D puede utilizarse con la impresión tridimensional para acelerar la producción de objetos sin depender en gran medida de los procesos de renderizado digital. El software de código abierto desarrollado recientemente pertenece a OpenAI, los creadores de ChatGPT y DALL-E (más información aquí y aquí), y materializa la idea de texto a producto mediante unas cuantas palabras o descripciones.

El desarrollo de Shap-E se centra en convertirlo en un modelo generativo condicional para activos 3D. OpenAI ya ha construido y entrenado una red neuronal llamada DALL-E que crea imágenes a partir de leyendas de texto, dando resultados más adecuados tanto para la impresión en papel como para los usos de recursos web. La empresa de IA también ha probado el predecesor de Shap-E, Point-E, un modelo generativo explícito que acumula millones de nubes de puntos para producir una imagen, afirmando que ‘Shap-E converge más rápidamente alcanzando una calidad de muestra comparable o mejor a pesar de modelar un espacio de salida multirepresentativo de mayor dimensión’.

Aunque existe la posibilidad de que el modelo creado por Shap-E se utilice para la impresión 3D, los investigadores advierten que sin una validación adecuada o la realización de pruebas de seguridad, la producción de herramientas y piezas a partir del texto a objetos reales pudiera plantear posibles riesgos. ‘Esto podría ser potencialmente perjudicial si las muestras producidas no cumplen adecuadamente con el pronóstico deseado’, añaden los investigadores.

imágenes cortesía de los investigadores de OpenAI Heewoo Jun y Alex Nichol | imagen de encabezado de Inés Álvarez Fdez para Unsplash

Modelos listos para imprimir en 3D mediante el generador de texto a imagen

En una serie de pruebas comparativas entre Shap-E y Point-E realizadas por Jun y Nichol, se descubrió que Shap-E podía igualar o superar a un modelo generativo explícito similar dado el mismo conjunto de datos, arquitectura del modelo y cómputo de entrenamiento. Los resultados que podía crear el nuevo software mostraban bordes más suaves, contornos más sombreados y figuras más robustas en comparación con las imágenes pixeladas — y aún visibles — de Point-E. ‘Por ejemplo, observamos que Point-E ignora a veces las pequeñas incisiones de la banca, mientras que Shap-E intenta modelarlas’, afirman los investigadores en su estudio publicado.

Cuando se trata de la impresión 3D, los usuarios tienen que alimentar la máquina con el modelo renderizado antes de que pueda producir un producto tangible. Con la entrada de Shap-E, OpenAI también está explorando la posibilidad de generar imágenes texturizadas con sólo introducir descripciones en el teclado que luego puedan ser alimentadas a la máquina sin tener que recurrir a un proceso de renderizado apresurado. Hasta ahora, Shap-E puede generar objetos diversos e interesantes sin depender de imágenes como representación intermedia. ‘Estos resultados ponen de relieve el potencial de generar representaciones implícitas, especialmente en los dominios tridimensionales, donde pueden ofrecer más flexibilidad de la que ofrecen las representaciones explícitas’, escriben los investigadores.

el nuevo modelo generativo puede producir imágenes más nítidas y detalladas

Mejorando las limitaciones de Shap-e

Entre algunas de las mejoras visibles del nuevo software generativo de texto a imagen, Jun y Nichol reconocen las limitaciones que el equipo de investigación aún tiene que examinar. Mencionan que Shap-E tiene una capacidad limitada para componer conceptos, lucha para vincular múltiples atributos a diferentes objetos y puede no producir la cantidad correcta de objetos cuando se le piden (por ejemplo, el equipo le pidió al software cuatro pastelillos, pero Shap-E generó tres piezas confusas y revueltas).

Las muestras que puede producir Shap-E siguen careciendo de detalles finos, ya que pueden parecer toscas o parecerse a los gráficos de los videojuegos de épocas anteriores. ‘Para obtener los mejores resultados, Shap-E podría combinarse potencialmente con técnicas generativas 3D basadas en la optimización’, dicen Jun y Nichol. Para quienes quieran probar el software, el equipo de investigación ha subido los archivos y las instrucciones a su página de código abierto, pero sabiendo que el software se encuentra en período de pruebas, descifrar la manera de cómo navegar dentro de la aplicación descargable puede llegar a ser un proceso tedioso.

project info:

nombre: Shap-E

empresa: OpenAI

equipo de investigación: Heewoo Jun, Alex Nichol