|
A multidimensional analysis of social biases in vision transformers
Brinkmann, Jannik
;
Swoboda, Paul
;
Bartelt, Christian
|
Dokumenttyp:
|
Konferenzveröffentlichung
|
|
Erscheinungsjahr:
|
2023
|
|
Buchtitel:
|
Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)
|
|
Seitenbereich:
|
4914-4923
|
|
Veranstaltungstitel:
|
2023 IEEE/CVF International Conference on Computer Vision, ICCV
|
|
Veranstaltungsort:
|
Paris, France
|
|
Veranstaltungsdatum:
|
02.-06.10.2023
|
|
Ort der Veröffentlichung:
|
Paris, France
|
|
Verlag:
|
IEEE
|
|
Verwandte URLs:
|
|
|
Sprache der Veröffentlichung:
|
Englisch
|
|
Einrichtung:
|
Außerfakultäre Einrichtungen > Institut für Enterprise Systems (InES)
|
|
Fachgebiet:
|
004 Informatik
|
|
Abstract:
|
The embedding spaces of image models have been shown to encode a range of social biases such as racism and sexism. Here, we investigate specific factors that contribute to the emergence of these biases in Vision Transformers (ViT). Therefore, we measure the impact of training data, model architecture, and training objectives on social biases in the learned representations of ViTs. Our findings indicate that counterfactual augmentation training using diffusion-based image editing can mitigate biases, but does not eliminate them. Moreover, we find that larger models are less biased than smaller models, and that models trained using discriminative objectives are less biased than those trained using generative objectives. In addition, we observe inconsistencies in the learned social biases. To our surprise, ViTs can exhibit opposite biases when trained on the same data set using different self-supervised objectives. Our findings give insights into the factors that contribute to the emergence of social biases and suggests that we could achieve substantial fairness improvements based on model design choices.
|
 | Dieser Eintrag ist Teil der Universitätsbibliographie. |
 |
Dieser Datensatz wurde noch nicht in die Unibibliographie aufgenommen, es ist eine Unveröffentlichte Publikation. Diese Publikation als "Jetzt erschienen" melden. |
 Suche Autoren in
Actions (login required)
 |
Eintrag anzeigen |
|
|
