Fuzzy set covering as a new paradigm for the induction of fuzzy classification rules


Zyl, Jacobus van


[img]
Preview
PDF
phdthesis2007_06_07.pdf - Published

Download (2MB)

URL: https://ub-madoc.bib.uni-mannheim.de/1412
URN: urn:nbn:de:bsz:180-madoc-14123
Document Type: Doctoral dissertation
Year of publication: 2007
Place of publication: Mannheim
Publishing house: Universität Mannheim
University: Universität Mannheim
Evaluator: Cloete, Ian
Date of oral examination: 16 May 2007
Publication language: English
Institution: School of Business Informatics and Mathematics > Automation (Badreddin -2008)
Subject: 004 Computer science, internet
Classification: CCS: Concept le Induction ,
Subject headings (SWD): Automatische Klassifikation , Wissenschaftsklassifikation , Fuzzy-Menge , Künstliche Intelligenz , Maschinelles Lernen
Individual keywords (German): set-covering
Keywords (English): set covering , fuzzy , rule learning , machine learning
Abstract: In 1965 Lofti A. Zadeh proposed fuzzy sets as a generalization of crisp (or classic) sets to address the incapability of crisp sets to model uncertainty and vagueness inherent in the real world. Initially, fuzzy sets did not receive a very warm welcome as many academics stood skeptical towards a theory of imprecise'' mathematics. In the middle to late 1980's the success of fuzzy controllers brought fuzzy sets into the limelight, and many applications using fuzzy sets started appearing. In the early 1970's the first machine learning algorithms started appearing. The AQ family of algorithms pioneered by Ryszard S. Michalski is a good example of the family of set covering algorithms. This class of learning algorithm induces concept descriptions by a greedy construction of rules that describe (or cover) positive training examples but not negative training examples. The learning process is iterative, and in each iteration one rule is induced and the positive examples covered by the rule removed from the set of positive training examples. Because positive instances are separated from negative instances, the term separate-and-conquer has been used to contrast the learning strategy against decision tree induction that use a divide-and-conquer learning strategy. This dissertation proposes fuzzy set covering as a powerful rule induction strategy. We survey existing fuzzy learning algorithms, and conclude that very few fuzzy learning algorithms follow a greedy rule construction strategy and no publications to date made the link between fuzzy sets and set covering explicit. We first develop the theoretical aspects of fuzzy set covering, and then apply these in proposing the first fuzzy learning algorithm that apply set covering and make explicit use of a partial order for fuzzy classification rule induction. We also investigate several strategies to improve upon the basic algorithm, such as better search heuristics and different rule evaluation metrics. We then continue by proposing a general unifying framework for fuzzy set covering algorithms. We demonstrate the benefits of the framework and propose several further fuzzy set covering algorithms that fit within the framework. We compare fuzzy and crisp rule induction, and provide arguments in favour of fuzzy set covering as a rule induction strategy. We also show that our learning algorithms outperform other fuzzy rule learners on real world data. We further explore the idea of simultaneous concept learning in the fuzzy case, and continue to propose the first fuzzy decision list induction algorithm. Finally, we propose a first strategy for encoding the rule sets generated by our fuzzy set covering algorithms inside an equivalent neural network.
Translation of the title: Fuzzy Set Covering als neues Paradigma für die Induktion von Fuzzy-Klassifikationsregeln (German)
Translation of the abstract: Im Jahre 1965 wurden unsharfe Mengen (auch Fuzzy-Menge) von Lofti A. Zadeh als Generalisierung zu scharfen (oder klassischen) Mengen eingeführt um die Fähigkeiten von scharfen Mengen zu erweitern in Richtung der Modellierung von Unsicherheit und Ungenauigkeit der Welt. Zu Anfangs waren Fuzzy-Mengen nicht besonders populär, da Akademiker einer Theorie von "unpräziser" Mathematik skeptisch gegenüberstanden. Mitte der 80er Jahre rückten Fuzzy-Controller in die allgemeine Aufmerksamkeit, gefolgt von vielen Anwendungen der Fuzzy-Mengen. In den frühen 70er Jahren enstanden die ersten Maschinelles Lernen Algorithmen. Die AQ Familie von Algorithmen von Ryszard S. Michalski stellt ein Beispiel der Familie von Set-Covering Algorithmen dar. Diese Klasse von Lernalgorithmen induziert Konzeptbeschreibungen her mit Hilfe einer gierigen Regelkonstruktion, welche nur positive Training-Beispiele beschreibt. Der iterativ Lernprozeß leitet in jeder Iteration eine Regel her und löscht in Folge dessen die positiven Beispiele, welche mit der Regel erfasst wurden aus der Menge von positiven Traning-Beispielen. Der Term Separate-and-Conquer wurde gewählt um den Kontrast der Lernstrategie entgegen Entscheidungsbaum Induktion hevorzuheben, bei welcher eine Divide-and-Conquer Lernstrategie Anwendung findet. Hierbei bezieht sich Separate-and-Conquer auf die Tatsache, dass positive von negativen Instanzen separiert werden. Diese Dissertation stellt Fuzzy-Set-Covering vor als eine leistungsfähige Regel-Herleitungs Regelinduktions Strategie. Wir verschaffen eine Übersicht über Fuzzy-Lernalgorithmen. Infolge dessen finden wir, dass nur wenige Fuzzy-Lernalgorithmen einer gierigen Regelkonstruktion verfolgen. Weiterhin verschaffen soweit keine Publikationen explizit den Link zwischen Fuzzy-Mengen und Set-Covering. Zuerst entwickeln wir theoretische Aspekte von Fuzzy-Set-Covering. Diese werden im folgenden angewendet auf den ersten Fuzzy Lernen Algorithmus, welcher Gebrauch macht von Set-Covering sowie explizit die partielle Ordnung für Fuzzy Klassifikation Regelinduktion berücksichtigt. Weiterhin recherchieren wir verschiedene Strategien um den zu Grunde liegenden Algorithmus zu verbessern, wie bessere Such-Heuristik und verschiedene Bewertungsfunktion um die Regeln zu evaluieren. Weiterhin schlagen wir ein allgemeines Rahmenwerk vor für die Fuzzy-Set-Covering Algorithmen. Wir zeigen die Vorteile für dieses Rahmenwerk auf zusammen mit weiteren Fuzzy-Set-Covering Algorithmen, welche auch in dieses Rahmenwerk eingepasst werden können. Ein Vergleich zwischen Fuzzy und sharfen Regelinduktion wird hergestellt sowie Argumente für unscharfe entgegen scharfe Set Covering als Regelinduktions-Strategie vorgestellt. Wir zeigen auch die besseren Leistungen unseres Lernalgorithmus auf im Vergleich zu anderen Fuzzy-Regellerner sowie zu realen Daten. Weiterhin erforschen wir die Idee eines gleichzeitigen Konzept-Erlernens im Fall Fuzzy. Wir stellen den ersten Fuzzy Entscheidungsliste Induktions-Algorithmus weiterhin vor. Abschließend erstellen wir eine erste Strategie um die Regelmengen, die von unserem Fuzzy-Set-Covering Algorithmus generiert werden mit einem äquivalenten neuronalen Netzwerk zu kodieren. (German)
Additional information:

Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt.

Available versions of this item




+ Citation Example and Export

Zyl, Jacobus van (2007) Fuzzy set covering as a new paradigm for the induction of fuzzy classification rules. Open Access Mannheim [Doctoral dissertation]
[img]
Preview


+ Search Authors in

+ Download Statistics

Downloads per month over past year

View more statistics



You have found an error? Please let us know about your desired correction here: E-Mail


Actions (login required)

Show item Show item