Pesquisadores do MIT e do Toyota Research Institute desenvolveram o SceneSmith, uma ferramenta de inteligência artificial que gera ambientes virtuais tridimensionais para o treinamento de robôs. O sistema cria casas completas e funcionalmente realistas, permitindo testar diversas interações físicas antes que as máquinas sejam levadas para o mundo real.
O projeto automatiza a criação de cenários complexos com propriedades físicas precisas, como massa e atrito. Essa abordagem visa reduzir custos e riscos operacionais da robótica física. Embora ajude a diminuir a lacuna entre simulação e realidade, a tecnologia serve como complemento escalável aos testes em ambientes físicos.
Ensinar um robô a guardar um copo parece uma tarefa simples até que seja necessário prever quantas cozinhas diferentes ele encontrará. A pia pode estar à direita ou à esquerda, o copo pode estar sobre uma mesa, dentro de um armário ou parcialmente escondido por outro objeto, e pequenas diferenças de iluminação, altura, espaço e disposição dos móveis podem transformar uma ação aparentemente trivial em um problema novo.
Uma forma óbvia de melhorar o robô seria deixá-lo praticar milhares de vezes. Fazer isso fisicamente, porém, exige equipamentos, ambientes, operadores e tempo. Além do custo, algumas tentativas podem quebrar objetos, danificar o próprio robô ou simplesmente ser inviáveis de reproduzir em escala.
Pesquisadores do MIT e do Toyota Research Institute estão trabalhando em outra abordagem. O SceneSmith, apresentado em 2026, utiliza agentes de inteligência artificial para gerar ambientes tridimensionais completos — cozinhas, quartos, restaurantes, hotéis, garagens e até casas inteiras — que podem ser carregados diretamente em simuladores de física. O objetivo é produzir uma variedade muito maior de situações nas quais políticas de controle de robôs possam ser testadas antes de chegar ao mundo real. O trabalho foi selecionado como Spotlight no ICML 2026.
O projeto oferece um bom exemplo de uma transformação importante na robótica: em vez de coletar toda a experiência necessária no mundo físico, parte dela pode ser criada, reproduzida e avaliada em mundos que nunca existiram.
1. O problema de ensinar robôs com experiência real
Modelos de linguagem podem aprender a partir de grandes volumes de textos disponíveis na internet. Sistemas de visão encontram bilhões de imagens e vídeos. Para um robô, entretanto, o dado mais valioso costuma envolver a relação entre percepção, ação e consequência: ele precisa saber o que acontece quando segura um objeto, abre uma porta, empurra uma cadeira ou tenta passar por um espaço estreito.
Coletar esse tipo de experiência no mundo real é lento. Uma pessoa pode teleoperar um robô e demonstrar uma tarefa, mas cada demonstração demanda tempo físico. Além disso, é difícil reproduzir em laboratório todas as variações que o equipamento encontrará depois de implantado.
A simulação resolve parte do problema porque permite executar experiências de maneira controlada, repetível e potencialmente paralela. A dificuldade passa a ser construir os próprios ambientes. Um simulador de física pode calcular colisões e movimentos com bastante precisão, mas ainda precisa receber uma descrição detalhada do mundo: paredes, móveis, objetos, dimensões, posições, massa, atrito, articulações e outras propriedades relevantes para a interação.
O paper do SceneSmith parte justamente dessa limitação. Segundo os pesquisadores, muitos ambientes sintéticos existentes são relativamente simples e esparsos quando comparados a uma casa real. Isso reduz a variedade de situações disponíveis para treinamento e avaliação.
2. Como o SceneSmith constrói uma casa virtual
O SceneSmith recebe uma descrição em linguagem natural e constrói progressivamente o ambiente. Em vez de depender de um único modelo para criar toda a cena, o sistema distribui o trabalho entre três papéis: um agente atua como designer, outro como crítico e um terceiro como orquestrador.
O processo ocorre em etapas. Primeiro é definida a planta e a organização dos cômodos. Depois vêm os móveis, objetos presos às paredes, itens de teto e, finalmente, objetos menores que o robô poderá manipular. O crítico verifica se a composição faz sentido e o orquestrador administra as revisões necessárias antes que o processo avance. (scenesmith.github.io)
Esse mecanismo permite gerar instruções bastante específicas. Uma solicitação pode pedir uma cafeteria com balcão, mesas, cadeiras e equipamentos; outra pode especificar uma casa com quartos, cozinha, banheiro e objetos manipuláveis. Segundo os autores, foram produzidas mais de 1.300 cenas, e os ambientes gerados chegaram a conter entre três e seis vezes mais objetos que métodos comparados no trabalho.
O sistema também precisa fazer algo que um gerador convencional de imagens 3D não necessariamente faz: criar objetos utilizáveis pelo simulador. Uma porta precisa abrir; uma gaveta deve possuir articulações; um copo precisa poder cair; e objetos empilhados devem responder a gravidade, colisão e movimento.
No conjunto avaliado pelos pesquisadores, menos de 2% dos objetos apresentaram colisões indevidas entre si e 96% permaneceram estáveis quando submetidos à simulação física. Em avaliações humanas, o SceneSmith também superou métodos de comparação em realismo e aderência aos prompts utilizados para construir os ambientes.
3. Uma casa bonita não é suficiente: ela precisa obedecer à física
Essa é provavelmente a diferença mais importante entre um ambiente criado para visualização e um ambiente criado para robótica.
Um quarto gerado para um videogame ou renderização pode parecer perfeitamente convincente mesmo que seus objetos não possuam massa, atrito ou articulações realistas. Para um robô, essas propriedades determinam se uma tarefa pode ser executada.
O SceneSmith estima características físicas dos objetos e gera ambientes que podem ser utilizados em simuladores como Drake. O código publicado pelos pesquisadores também possui exportação experimental para formatos compatíveis com MuJoCo e USD. (github.com)
Os pesquisadores demonstraram isso de diferentes maneiras. Robôs foram teleoperados dentro dos ambientes para abrir armários, manipular garrafas e circular entre espaços. Eles também inseriram nas cenas uma política de controle desenvolvida anteriormente e treinada principalmente com dados reais, portanto sem conhecimento prévio dos ambientes gerados pelo SceneSmith. Essa política conseguiu realizar tarefas como retirar uma fruta de uma tigela e colocá-la sobre uma superfície.
O projeto também inclui uma estrutura automática para avaliação. A partir de uma tarefa, o sistema gera diferentes ambientes, executa a política do robô e utiliza outro agente para verificar se o objetivo foi realmente atingido. Na demonstração relatada pelo MIT, avaliadores humanos concordaram com mais de 99% dos julgamentos feitos pelo agente sobre falhas das políticas testadas.
É importante fazer uma distinção: o trabalho demonstra principalmente a geração de ambientes e a avaliação automática de políticas robóticas, e não um novo algoritmo que aprende sozinho todas essas tarefas. O valor do SceneSmith está em tornar mais barato e escalável criar os lugares nos quais robôs podem ser treinados ou avaliados.
4. O problema aparece quando o robô sai da simulação
Treinar ou testar em um mundo virtual resolve apenas parte da dificuldade. Em robótica existe um problema conhecido como sim-to-real gap, ou diferença entre a simulação e a realidade.
Nenhuma simulação reproduz perfeitamente o mundo físico. A aderência de uma superfície pode estar ligeiramente errada; uma câmera real possui ruído; a iluminação muda; um objeto flexiona; uma roda derrapa; e pessoas movimentam coisas de maneiras que não estavam previstas no ambiente virtual.
Uma revisão de 2025 sobre o chamado reality gap descreve justamente essa discrepância como um dos principais obstáculos para transferir sistemas aprendidos em simulação para robôs físicos. Entre as técnicas estudadas para reduzi-la estão variações deliberadas dos ambientes virtuais, combinação de dados reais e sintéticos e ajustes posteriores com experiências obtidas no mundo físico. Leia a revisão sobre sim-to-real.
Por isso, criar ambientes visualmente convincentes não resolve o problema sozinho. Para robótica, a geração 3D precisa avançar em direção a ambientes que também sejam fisicamente utilizáveis. Uma revisão publicada em abril de 2026 sobre geração 3D para embodied AI identifica exatamente essa mudança: o foco está deixando de ser apenas realismo visual e passando a incluir estrutura, propriedades físicas, articulações e capacidade de interação. Veja a revisão sobre geração 3D para robótica.
O SceneSmith é interessante justamente porque atua nessa fronteira. Ele não elimina o sim-to-real gap, mas tenta melhorar uma das matérias-primas da simulação: a diversidade e a qualidade estrutural dos ambientes.
5. Onde isso pode ser usado fora de uma casa
Embora o SceneSmith esteja concentrado principalmente em ambientes internos e robôs de serviço, o princípio de gerar experiências sintéticas possui aplicações bem mais amplas.
Em uma fábrica, por exemplo, um robô pode ser testado diante de diferentes posições de peças, mudanças de iluminação, obstáculos e configurações de uma estação antes que o equipamento seja instalado. Em logística, ambientes virtuais podem reproduzir layouts de armazéns e diferentes distribuições de caixas e pallets. Laboratórios automatizados podem simular manipulação de tubos, equipamentos e amostras antes de executar procedimentos físicos.
Uma pesquisa publicada em junho de 2026 apresentou, por exemplo, uma plataforma de simulação voltada especificamente a robôs de laboratório. Os pesquisadores utilizaram o ambiente virtual para ampliar um pequeno conjunto de demonstrações humanas, modificando condições como câmera, iluminação, velocidade e ações. Em alguns dos modelos avaliados, essa ampliação sintética aumentou de forma significativa a taxa de sucesso nas tarefas experimentais. Leia o trabalho sobre simulação de laboratórios.
Outro trabalho de 2026 explorou uma abordagem denominada text2sim2real para tarefas de assistência física. O sistema gera cenários de interação entre pessoas e robôs a partir de descrições em linguagem natural e utiliza essas simulações para produzir dados de treinamento. Nos dois experimentos apresentados pelos pesquisadores, as políticas transferidas para o mundo físico alcançaram taxas de sucesso superiores a 80%, embora dentro de um conjunto limitado de tarefas e condições experimentais. Veja o estudo.
Esses exemplos mostram por que a geração automática de ambientes é relevante. O ganho não está apenas em economizar a construção manual de uma sala 3D, mas em tornar possível gerar muitas variações de um problema e testar sistematicamente como o robô responde a elas.
6. O mesmo princípio vale para agentes que não possuem braços ou rodas
Há uma analogia útil com agentes de software, desde que ela não seja levada longe demais. Um robô utiliza simulação porque suas ações no mundo físico têm custo e consequências. Agentes conectados a sistemas empresariais enfrentam um problema semelhante quando recebem capacidade de alterar pedidos, consultar dados, executar código ou movimentar informações entre aplicações.
Nesse contexto, um ambiente de sandbox pode cumprir uma função equivalente: reproduzir sistemas, dados e situações suficientes para que o comportamento do agente seja avaliado antes de liberar acesso à operação real.
Um agente financeiro pode receber transações fictícias e exceções conhecidas; um agente de atendimento pode enfrentar conversas simuladas com diferentes perfis; e um agente que executa código pode trabalhar inicialmente em ambientes isolados, sem acesso aos recursos de produção.
A diferença é que a física deixa de ser o principal desafio. O ambiente precisa reproduzir regras de negócio, permissões, estados dos sistemas e consequências das ações. O princípio de engenharia, entretanto, é semelhante: quanto maior o custo de uma falha, mais importante se torna testar o comportamento em condições variadas antes da implantação.
Essa necessidade também aparece em arquiteturas de agentes corporativos, nas quais avaliação, observabilidade, permissões e ambientes controlados são tão importantes quanto o modelo utilizado. No artigo da REVIIV sobre harness open-source e modelos locais no Google Cloud, detalhamos como essas camadas passam a fazer parte da própria arquitetura da aplicação.
7. O que ainda falta para esses mundos virtuais substituírem parte do treinamento real
Os resultados do SceneSmith são promissores, mas não eliminam a necessidade de dados e testes físicos. A própria existência do sim-to-real gap impede que a simulação seja tratada como uma reprodução perfeita da realidade.
Há também limites na geração automática. Um sistema pode criar uma cozinha visualmente plausível e ainda representar incorretamente propriedades de um objeto, posições pouco prováveis ou situações que raramente ocorreriam em uma residência. Quanto mais uma política aprende com dados sintéticos, mais importante se torna verificar se a distribuição desses dados representa adequadamente as situações que serão encontradas depois.
O caminho mais provável não é substituir completamente experiência real por experiência sintética, mas combinar as duas. A simulação pode ampliar dramaticamente a quantidade e a variedade dos testes, enquanto o mundo físico continua sendo utilizado para calibração, validação e descoberta das situações que o simulador ainda não consegue representar.
Nesse sentido, a principal contribuição de sistemas como SceneSmith talvez esteja menos em construir uma casa virtual perfeita e mais em reduzir o custo de construir milhares de casas imperfeitas, porém suficientemente diferentes e funcionais para revelar onde um robô ainda falha.
Conclusão
Robôs precisam de experiência para lidar com a variedade do mundo físico, e coletar toda essa experiência diretamente no mundo real é caro, lento e difícil de reproduzir. A simulação oferece uma alternativa, mas sua utilidade depende da quantidade, diversidade e qualidade dos ambientes disponíveis.
O SceneSmith utiliza agentes de IA para automatizar parte desse trabalho. A partir de linguagem natural, ele constrói ambientes tridimensionais densos, adiciona objetos manipuláveis e propriedades físicas e produz cenas que podem ser usadas diretamente em simuladores. Os pesquisadores demonstraram que esses ambientes são capazes de receber políticas de robôs já existentes e de apoiar processos automáticos de avaliação.
O desenvolvimento não significa que robôs possam aprender tudo sem sair do computador. A diferença entre simulação e realidade continua sendo um dos problemas centrais da área. O avanço está em tornar muito mais barato experimentar antes de chegar ao mundo físico.
Essa lógica tem implicações que vão além da robótica doméstica. Fábricas, logística, laboratórios e outros ambientes em que erros físicos são caros podem utilizar simulações cada vez mais ricas para ampliar treinamento e validação.
À medida que a IA começa a operar não apenas sobre textos e imagens, mas sobre máquinas capazes de agir no mundo, a qualidade dos ambientes em que esses sistemas aprendem e são testados passa a ser tão importante quanto a qualidade dos próprios modelos.
Perguntas frequentes
O que é o SceneSmith?
SceneSmith é um sistema desenvolvido por pesquisadores do MIT CSAIL e do Toyota Research Institute que utiliza agentes de IA para gerar ambientes tridimensionais internos prontos para simulação robótica. O trabalho foi apresentado no ICML 2026.
Robôs podem ser treinados inteiramente em ambientes virtuais?
Em alguns problemas, grande parte do treinamento pode ocorrer em simulação, mas a transferência para o mundo físico continua sujeita ao chamado sim-to-real gap. Testes e ajustes no mundo real permanecem importantes.
Por que utilizar simulação para treinar robôs?
Simulações permitem reproduzir tarefas, variar condições e executar grande quantidade de experimentos sem depender constantemente de equipamentos físicos, operadores e ambientes reais.
O que são dados sintéticos para robótica?
São dados produzidos em ambientes simulados ou gerados computacionalmente. Eles podem incluir imagens, estados do ambiente, movimentos, interações e trajetórias utilizadas para treinamento ou avaliação de sistemas robóticos.
Qual é a diferença entre uma cena 3D e uma simulação robótica?
Uma cena 3D pode ser apenas visual. Uma simulação robótica precisa representar também aspectos relevantes da interação física, como colisões, articulações, massa, atrito e movimento dos objetos.
Referências
- MIT News — AI agents create virtual playgrounds to help robots get crucial training data
- SceneSmith — site oficial do projeto
- SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes
- Código-fonte do SceneSmith
- The Reality Gap in Robotics: Challenges, Solutions, and Best Practices
- 3D Generation for Embodied AI and Robotic Simulation: A Survey
- Generative Simulation for Policy Learning in Physical Human-Robot Interaction
- Pipette: An Embodied Simulation Platform for Wet-Lab Robotics
