LegoGPT: La IA Transforma Indicaciones de Texto en Creaciones Lego

Investigadores de la Universidad Carnegie Mellon han presentado LegoGPT, un nuevo sistema de IA que construye creaciones de Lego del mundo real a partir de descripciones escritas.

Es la primera IA de su tipo que no solo sigue un indicador de texto, como “un vaso alargado y aerodinámico”, sino que también asegura que la estructura resultante sea físicamente estable y se pueda construir, ladrillo por ladrillo.

“Para lograr esto, construimos un conjunto de datos a gran escala y físicamente estables de diseños de LEGO, junto con sus subtítulos asociados”, explicó el equipo en su artículo de investigación.

LegoGPT fue entrenado utilizando más de 47,000 modelos de Lego estables emparejados con subtítulos detallados generados por GPT-4o. Estos fueron construidos a partir de formas en 3D, transformados en estructuras de Lego, y luego probados para su estabilidad en el mundo real usando simulaciones físicas.

Cada estructura también fue descrita desde 24 ángulos para que la IA pudiera aprender cómo deberían verse los diversos diseños en palabras.

El equipo utilizó una técnica especial llamada “retroceso consciente de la física”, donde se eliminan y reconstruyen las partes inestables de un diseño hasta que toda la estructura se mantiene en pie. Esto mejoró las tasas de éxito de construcción del 24% al 98.8%.

El modelo de IA, basado en LLaMA-3.2-Instruct de Meta, predice qué pieza de Lego colocar a continuación, de manera similar a cómo ChatGPT predice la próxima palabra. Cada ladrillo sugerido se verifica en términos de ubicación, tamaño y posibles colisiones antes de ser añadido al modelo.

Las creaciones de LegoGPT pueden ser construidas tanto por humanos como por robots. “Nuestros experimentos demuestran que LegoGPT produce diseños de Lego estables, diversos y estéticamente agradables que se alinean estrechamente con las indicaciones de texto de entrada”, escribieron los investigadores.

Por ahora, LegoGPT utiliza solo ocho tipos básicos de bloques y funciona dentro de un espacio de 20×20×20, pero el equipo espera expandirlo.

Su conjunto de datos completo, código y modelo están libres para acceder, para que otros puedan seguir construyendo sobre esta investigación. Alternativamente, puedes simplemente jugar con su demo.