Exécuter des modèles IA gigantesques sur une carte graphique avec seulement 4 Go de mémoire grâce au projet open source RLLM

Commente "VRAM" pour recevoir les étapes pour lancer ton premier gros modèle avec AirLLM.
Quelqu'un a trouvé comment faire tourner des modèles IA gigantesques sur une carte graphique avec seulement 4 Go de mémoire.

AirLLM charge le modèle couche par couche au lieu de tout garder en mémoire : tu peux exécuter des modèles bien plus grands que ta carte graphique. Contrepartie : c'est plus lent, et ça demande beaucoup d'espace disque.

Source vérifiée : dépôt officiel AirLLM (licence Apache-2.0) — https://github.com/lyogavin/airllm

Abonne-toi pour ne pas rater la suite.

#AirLLM #OpenSource #LLM #AI #GPU

REF-1020H12