Régularisation par variance et covariance pour contraindre l'espace latent

Cette approche utilise la régularisation d'informations explicites pour structurer l'espace latent d'un modèle génératif. Contrairement aux méthodes basées sur des exemples négatifs, elle ajoute directement des termes mathématiques dans la fonction de coût pour imposer des contraintes géométriques strictes.

L'idée centrale est de forcer le vecteur latent à occuper tout le volume disponible de manière efficace. Deux contraintes principales sont appliquées :

1. Variance : chaque dimension du vecteur doit maintenir une variation minimale. Cela interdit aux dimensions de rester fixes ou constantes.
2. Covariance : les dimensions doivent être indépendantes les unes des autres. Cela empêche le modèle de « tricher » en dupliquant la même information sur plusieurs dimensions.

Exemple : Imaginez un vecteur latent de 2 dimensions. Sans régularisation, le modèle pourrait placer tous les points sur une ligne diagonale (les deux dimensions varient ensemble, forte covariance). Avec la contrainte de covariance, les axes sont forcés d'être perpendiculaires (indépendants). Avec la contrainte de variance, chaque axe doit s'étendre suffisamment pour couvrir l'espace, évitant ainsi que les points ne se regroupent au centre. Le résultat est un espace latent « bien rempli » et structuré, ce qui améliore la stabilité et la qualité de la génération.