E-⁠MoE améliore la génération en peu d’étapes des modèles de langage à diffusion

L’essentiel

La méthode construit le processus inverse comme un mélange de distributions factorisées, fondé sur les choix de routage des experts d’un modèle MoE, sans paramètres actifs supplémentaires par rapport à la base factorisée.