DiScoFormer : un transformateur pour la densité et le score, sur toutes les distributions

De nombreux problèmes en apprentissage automatique et en sciences se résument à la même tâche : vous disposez d'un ensemble de points de données et souhaitez récupérer la distribution d'où ils proviennent : quelles valeurs sont communes et lesquelles sont rares. Cerner cette distribution signifie estimer deux quantités : la densité de la distribution et, plus utile à mesure que la dimensionnalité augmente, son score. La densité est la version fluide d'un histogramme : élevée là où les points se regroupent et faible là où ils sont rares. Le score – le gradient de la densité logarithmique – indique la direction dans laquelle la densité augmente le plus rapidement : déplacez un point le long du score et il se dirige vers une région plus probable.

Les modèles génératifs basés sur la ...
[Courte citation de 8% de l'article original]