Learning disentangled discrete representations


Friede, David ; Reimers, Christian ; Stuckenschmidt, Heiner ; Niepert, Mathias



DOI: https://doi.org/10.1007/978-3-031-43421-1_35
URL: https://link.springer.com/chapter/10.1007/978-3-03...
Dokumenttyp: Konferenzveröffentlichung
Erscheinungsjahr: 2023
Buchtitel: Machine learning and knowledge discovery in databases : research track : European conference, EMCL PKDD 2023, Turin, Italy, september 18-22,2023, proceedings, part IV
Titel einer Zeitschrift oder einer Reihe: Lecture Notes in Computer Science
Band/Volume: 14172
Seitenbereich: 593-609
Veranstaltungstitel: ECML PKDD 2023, European Conference on Machine Learning and Data Mining
Veranstaltungsort: Torino, Italy
Veranstaltungsdatum: 18.-22.09.2023
Herausgeber: Koutra, Danai ; Plant, Claudia ; Gomez Rodriguez, Manuel ; Baralis, Elena ; Bonchi, Francesco
Ort der Veröffentlichung: Berlin [u.a.]
Verlag: Springer
ISBN: 978-3-031-43420-4 , 978-3-031-43421-1
ISSN: 0302-9743 , 1611-3349
Verwandte URLs:
Sprache der Veröffentlichung: Englisch
Einrichtung: Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Practical Computer Science II: Artificial Intelligence (Stuckenschmidt 2009-)
Fachgebiet: 004 Informatik
Freie Schlagwörter (Englisch): categorical VAE , disentanglement
Abstract: Recent successes in image generation, model-based reinforcement learning, and text-to-image generation have demonstrated the empirical advantages of discrete latent representations, although the reasons behind their benefits remain unclear. We explore the relationship between discrete latent spaces and disentangled representations by replacing the standard Gaussian variational autoencoder (VAE) with a tailored categorical variational autoencoder. We show that the underlying grid structure of categorical distributions mitigates the problem of rotational invariance associated with multivariate Gaussian distributions, acting as an efficient inductive prior for disentangled representations. We provide both analytical and empirical findings that demonstrate the advantages of discrete VAEs for learning disentangled representations. Furthermore, we introduce the first unsupervised model selection strategy that favors disentangled representations.




Dieser Eintrag ist Teil der Universitätsbibliographie.




Metadaten-Export


Zitation


+ Suche Autoren in

+ Aufruf-Statistik

Aufrufe im letzten Jahr

Detaillierte Angaben



Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail


Actions (login required)

Eintrag anzeigen Eintrag anzeigen