Topology Learning for Prediction, Generation, and Robustness in Neural Architecture Search

Lukasik, Jovita

PDF
dissertation_Lukasik.pdf - Veröffentlichte Version
Download (17MB)

URN:	urn:nbn:de:bsz:180-madoc-649151
Dokumenttyp:	Dissertation
Erscheinungsjahr:	2023
Ort der Veröffentlichung:	Mannheim
Hochschule:	Universität Mannheim
Gutachter:	Keuper, Margret
Datum der mündl. Prüfung:	13 Juli 2023
Sprache der Veröffentlichung:	Englisch
Einrichtung:	Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Bildverarbeitung (Juniorprofessur) (Keuper 2017-2021)
Fachgebiet:	004 Informatik
Freie Schlagwörter (Englisch):	neural architecture search , robustness , generative models , performance prediction
Abstract:	In recent years, deep learning with Convolutional Neural Networks has become the key for success in computer vision tasks. However, designing new architectures is compute-intensive and a tedious trial-and-error process, which depends on human expert knowledge. Neural Architecture Search (NAS) builds on this problem by automating the architecture design process to find high-performing architectures. Yet, initial approaches in NAS rely on training and evaluating thousands of networks, resulting in compute-intensive search times. In this thesis, we introduce efficient search methods which overcome the heavy search time. First, we focus on presenting a surrogate model to predict the performance of architectures. Significantly, this surrogate model is able to predict the performance of architectures with a topology, which was not seen during training, i.e., our proposed model can extrapolate into unseen regions. In the second part, we introduce two generative architecture search approaches. The first one is based on a variational autoencoder, which enables to search for architectures directly in the generated latent space, with the ability to generate the found architectures back to its discrete architecture topology. The second approach improves on the former and facilitates a simple generation model, which is furthermore coupled with a surrogate model to search for architectures directly. In addition, we optimize the latent space itself for a direct generation of high-performing architectures. The third part of this thesis analyzes the widely used differentiable one-shot method DARTS, with the questions, is this method indeed an efficient search method, and how sensitive is this method to domain shifts, hyperparameters, and initializations? Lastly, we pave the way for robustness in NAS research. We introduce a dataset for architecture design and robustness, which evaluates one complete NAS search space against adversarial attacks and corruptions and thus allows for an in-depth analysis of the architectural design to improve its robustness only by its topology.
Übersetzung des Abstracts:	In den letzten Jahren hat sich das Deep Learning mit gefalteten neuronalen Netzwerken zum Schlüssel für den Erfolg bei Computer-Vision-Aufgaben entwickelt. Der Entwurf neuer Architekturen ist jedoch rechenintensiv und ein langwieriger Versuch und Irrtum Prozess, der von menschlichem Expertenwissen abhängt. Neuronale Netzwerk Suche (NAS) geht dieses Problem an, indem es den Architekturentwurfsprozess automatisiert, um hochperformante Architekturen zu finden. Die ersten NAS-Ansätze basieren jedoch auf dem Training und der Evaluierung tausender Netzwerke, was zu rechenintensiven Suchzeiten führt. In dieser Arbeit stellen wir effiziente Suchmethoden vor, die den hohen Suchaufwand über-winden. Zunächst konzentrieren wir uns darauf, ein Surrogatmodell vorzustellen um die Performanz von Architekturen vorherzusagen. Bezeichnenderweise ist dieses Ersatzmodell in der Lage, die Leistung von Architekturen mit einer Topologie vorherzusagen, die beim Training nicht gesehen wurde, d.h. unser vorgeschlagenes Modell kann in ungesehene Regionen extrapolieren. Im zweiten Teil stellen wir zwei generative Ansätze zur Architektursuche vor. Der erste basiert auf einem Variations-Autoencoder, der es ermöglicht, direkt im generierten latenten Raum nach Architekturen zu suchen und die gefundenen Architekturen in ihre diskrete Architekturtopologie zurück zu generieren. Der zweite Ansatz verbessert den ersten und ist ein einfaches Generierungsmodell, das darüber hinaus mit einem Surrogatmodell gekoppelt ist, um direkt nach Architekturen zu suchen. Darüber hinaus optimieren wir den latenten Raum selbst für eine direkte Generierung von hochperformanten Architekturen. Der dritte Teil dieser Arbeit analysiert die weit verbreitete differenzierbare One-Shot-Methode DARTS mit den Fragen, ob diese Methode tatsächlich eine effiziente Suchmethode ist und wie empfindlich diese Methode auf Domänenverschiebungen, Hyperparameter und Initialisierungen reagiert. Schließlich ebnen wir den Weg für die Richtung Robustheit in NAS. Wir führen einen Datensatz für Architekturdesign und Robustheit ein, der einen kompletten NAS-Suchraum gegen gegnerische Angriffe und Verfälschungen evaluiert und somit eine eingehende Analyse des Architekturdesigns ermöglicht, um die Robustheit allein durch die Topologie zu verbessern. (Deutsch)