Comment Hubert a réduit le temps de réponse de son IA de 20 minutes à 38 secondes

Cette vidéo explique comment optimiser la performance d'une IA en limitant les informations inutiles à laquelle elle a accès. Le problème principal est la surcharge contextuelle : à chaque étape, l'IA doit traiter l'historique complet de la conversation, y compris des données devenues obsolètes ou des manuels d'outils volumineux. Cela ralentit le processus et augmente les coûts, car l'IA effectue de nombreux allers-retours inutiles.

La solution consiste à rendre les ressources accessibles uniquement à la demande plutôt que de les charger systématiquement. On retire aussi l'IA des boucles de traitement simples qu'un script classique peut gérer plus efficacement. Enfin, on fournit à l'IA une « carte » des informations internes pertinentes pour qu'elle sache où chercher, évitant ainsi les recherches erronées.

Exemple : Imaginez qu'une IA cherche une donnée spécifique. Au lieu de lui faire lire le manuel de tous les outils disponibles (ce qui prend 20 minutes), on lui donne directement l'adresse de la base de données concernée. Elle accède à l'information en 38 secondes. C'est la différence entre chercher une aiguille dans une botte de foin et avoir la carte de la pièce où se trouve l'aiguille.