Jouer à Minecraft entièrement généré par une IA sans aucune ligne de code

Cette vidéo explique le fonctionnement d'un jeu de type Minecraft entièrement généré par une intelligence artificielle, sans code traditionnel. Le système repose sur deux modèles distincts qui collaborent pour produire des images en temps réel à 20 images par seconde.

Le premier est un modèle de diffusion. Il apprend à générer des visuels en partant d'un bruit blanc et en retirant progressivement ce bruit pour former une image cohérente, comme un screenshot du jeu. Le second est un modèle transformer, similaire à ceux utilisés pour le traitement du langage. Ici, il analyse le contexte visuel et les actions du joueur sur les 24 dernières images pour prédire la suite logique de la scène, assurant ainsi la continuité spatiale et la cohérence physique du monde virtuel.

Exemple : Si vous avancez vers une porte, le modèle transformer retient que la porte était à 10 mètres, puis à 5 mètres. Il transmet cette information au modèle de diffusion, qui génère alors une nouvelle image où la porte apparaît plus grande et plus proche, créant l'illusion d'un déplacement fluide dans un environnement qui n'existe pas réellement en 3D.