Faire tourner un modèle de 70 milliards de paramètres sur une carte graphique de 4 Go grâce à la méthode RLM

AirLLM fait tourner un modèle de 70 milliards de paramètres sur un GPU de 4 Go.

Le modèle reste sur le disque et une seule couche monte en mémoire GPU à la fois, sans quantification ni distillation. L'installation tient en une ligne et le dépôt dépasse les 36 000 étoiles.

Faire tourner un gros modèle ne demande plus une grosse carte, juste de la patience.

Source : GitHub
roboto.fr

#actuIA #AirLLM #LLM #intelligenceartificielle #roboto