|
Adaptive Conjoint Wavelet-Support Vector Classifiers
Neumann, Julia
![[img]](https://madoc.bib.uni-mannheim.de/style/images/fileicons/application_pdf.png)  Vorschau |
|
PDF
Neumann_Diss.pdf
- Veröffentlichte Version
Download (5MB)
|
|
URL:
|
http://ub-madoc.bib.uni-mannheim.de/869
|
|
URN:
|
urn:nbn:de:bsz:180-madoc-8691
|
|
Dokumenttyp:
|
Dissertation
|
|
Erscheinungsjahr:
|
2004
|
|
Titel einer Zeitschrift oder einer Reihe:
|
None
|
|
Verlag:
|
Universität Mannheim
|
|
Gutachter:
|
Steidl, Gabriele
|
|
Datum der mündl. Prüfung:
|
15 Februar 2005
|
|
Sprache der Veröffentlichung:
|
Deutsch
|
|
Einrichtung:
|
Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Angewandte Mathematik u. Informatik (Steidl 1996-2011)
|
|
Fachgebiet:
|
004 Informatik
|
|
Normierte Schlagwörter (SWD):
|
Wavelet , Wavelet-Analyse , Klassifikation
|
|
Freie Schlagwörter (Englisch):
|
Support Vector Machine
|
|
Abstract:
|
Combined wavelet - large margin classifiers succeed in solving difficult signal classification problems in cases where solely using a large margin classifier like, e.g., the Support Vector Machine may fail. This thesis investigates the problem of conjointly designing both classifier stages to achieve a most effective classifier architecture. Particularly, the wavelet features should be adapted to the Support Vector classifier and the specific classification problem. Three different approaches to achieve this goal are considered: The classifier performance is seriously affected by the wavelet or filter used for feature extraction. To optimally choose this wavelet with respect to the subsequent Support Vector classification, appropriate criteria may be used. The radius - margin Support Vector Machine error bound is proven to be computable by two standard Support Vector problems. Criteria which are computationally still more efficient may be sufficient for filter adaptation. For the classification by a Support Vector Machine, several criteria are examined rating feature sets obtained from various orthogonal filter banks. An adaptive search algorithm is devised that, once the criterion is fixed, efficiently finds the optimal wavelet filter. To extract shift invariant wavelet features, Kingsbury's dual-tree complex wavelet transform is examined. The dual-tree filter bank construction leads to wavelets with vanishing negative frequency parts. An enhanced transform is established in the frequency domain for standard wavelet filters without special filter design. The translation and rotational invariance is improved compared with the common wavelet transform as shown for various standard wavelet filters. So the framework well applies to adapted signal classification. Wavelet adaptation for signal classification is a special case of feature selection. Feature selection is an important combinatorial optimisation problem in the context of supervised pattern classification. Four novel continuous feature selection approaches directly minimising the classifier performance are presented. In particular, they include linear and nonlinear Support Vector classifiers. The key ideas of the approaches are additional regularisation and embedded nonlinear feature selection. To solve the optimisation problems, difference of convex functions programming which is a general framework for non-convex continuous optimisation is applied. This optimisation framework may also be interesting for other applications and succeeds in robustly solving the problems, and hence, building more powerful feature selection methods.
|
|
Übersetzter Titel:
|
Adaptive Conjoint Wavelet-Support Vector Classifiers
(Englisch)
|
|
Übersetzung des Abstracts:
|
Kombinierten Wavelet - Supportvektor-Klassifikatoren gelingt es, schwierige Signalklassifikationsprobleme in Fällen zu lösen, in denen die alleinige Anwendung einer Supportvektor Maschine fehlschlägt. Die vorliegende Arbeit untersucht den gemeinsamen Entwurf beider Klassifikatorstufen, um eine möglichst effiziente Klassifikationsarchitektur zu erreichen. Insbesondere sollten die Waveletmerkmale an den Supportvektor-Klassifikator und das spezielle Klassifikationsproblem angepasst werden. Drei verschiedene dieses Ziel verfolgende Ansätze werden betrachtet: Die Klassifikationsgenauigkeit hängt stark von der Wahl des Wavelets oder Filters für die Merkmalsextraktion ab. Um dieses Wavelet optimal im Hinblick auf die nachfolgende Supportvektor-Klassifikation auszuwählen, können geeignete Kriterien herangezogen werden. Es wird gezeigt, dass die "Radius - Margin" Fehlerschranke für Supportvektor Maschinen von zwei Standard-Supportvektor Problemen berechenbar ist. Noch effizientere Kriterien können für die Filteranpassung ausreichen. Für die Supportvektor-Klassifikation werden einige Kriterien verglichen, die von verschiedenen orthogonalen Filterbänken erzeugte Merkmalsmengen bewerten. Es wird ein adaptives Suchverfahren entworfen, das, gegeben ein Kriterium, effizient das optimalen Waveletfilter findet. Um translationsinvariante Waveletmerkmale zu extrahieren wird Kingsburys komplexe Wavelettransformation betrachtet. Diese Filterbankkonstruktion führt zu Wavelets ohne negative Frequenzanteile. Eine erweiterte Transformation für Standard-Waveletfilter ohne speziellen Filterentwurf wird im Frequenzbereich eingeführt. Die Translations- und Rotationsinvarianz wird dadurch gegenüber der gewöhnlichen Wavelettransformation verbessert, wie für vielfältige Standard-Waveletfilter gezeigt wird. Damit lässt sich diese Konstruktion vorteilhaft in der angepassten Signalklassifikation anwenden. Waveletanpassung für die Signalklassifikation ist ein Spezialfall der Merkmalsauswahl, einem wichtigen kombinatorischen Optimierungsproblem im Problembereich der überwachten Mustererkennung. Vier neuartige stetige Merkmalsauswahlansätze werden vorgestellt, die direkt die Klassifikationsgenauigkeit minimieren. Insbesondere berücksichtigen diese lineare und nichtlineare Supportvektor-Klassifikatoren. Die Kernideen der Ansätze sind zusätzliche Regularisierung und eingebettete nichtlineare Merkmalsauswahl. Um die Optimierungsprobleme zu lösen, wird die Zielfunktion als Differenz konvexer Funktionen dargestellt. Zur Lösung derartiger nicht-konvexer, stetiger Optimierungsprobleme wird ein allgemeines Verfahren, der DCA, angewendet. Dieser könnte ebenso für andere Anwendungen interessant sein. Damit gelingt es, die Probleme robust zu lösen und somit leistungsfähigere Merkmalsauswahlmethoden zu konstruieren.
(Deutsch)
|
|
Zusätzliche Informationen:
|
|
 | Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt. |
 Suche Autoren in
Sie haben einen Fehler gefunden? Teilen Sie uns Ihren Korrekturwunsch bitte hier mit: E-Mail
Actions (login required)
 |
Eintrag anzeigen |
|
|
