High precision neural networks boosting

Adam Szymański

Abstract

To create classifier with high accuracy it is common to use boosting. In many real world problems precision of classifier is more important than accuracy. In this thesis there are two new boosting algorithms presented that are focusing on increasing precision of classifier. First algorithm is creating committee of high precision, low recall classifier. After training each of them weights of positive examples that are incorrectly classified are not changed. For other examples use AdaBoost reweighting. Classification result of committee is positive if one of subclassifiers produced positive classification result and negative otherwise. Second algorithm is AdaBoost with modified reweighting formula. New reweighting scheme is increasing example weight when example is classified falsely as positive and decreasing otherwise. Second algorithm was found to be better than using single classifier or AdaBoost in most of data sets used for testing.
Diploma typeMaster of Science
Author Adam Szymański (FEIT)
Adam Szymański,,
- Faculty of Electronics and Information Technology
Title in PolishBoostowanie sieci neuronowych w celu uzyskania wysokiej precyzji
Supervisor Rajmund Kożuszek (FEIT / IN)
Rajmund Kożuszek,,
- The Institute of Computer Science
Certifying unitFaculty of Electronics and Information Technology (FEIT)
Affiliation unitThe Institute of Computer Science (FEIT / IN)
Study subject / specializationInformatyka (Computer Science)
Languageen angielski
StatusFinished
Defense Date27-10-2016
Issue date (year)2016
Internal identifier138/16 (2252)
Reviewers Stanisław Jankowski (FEIT / IN)
Stanisław Jankowski,,
- The Institute of Computer Science
, Rajmund Kożuszek (FEIT / IN)
Rajmund Kożuszek,,
- The Institute of Computer Science
Keywords in Polishuczenie maszynowe, sztuczne sieci neuronowe, głębokie uczenie, boosting, precyzja
Keywords in Englishmachine learning, artificial neural network, deep learning, boosting, precision
Abstract in PolishW celu stworzenia klasyfikatora o wysokiej trafności klasyfikacji stosuje się boosting. W wielu codziennych problemach ważniejsza od trafności jest precyzja. W tej pracy zostały zaprezentowane dwa nowe algorytmy boostingu, które skupiają się na zwiększaniu precyzji klasyfikatora. Pierwszy algorytm tworzy komitet klasyfikatorów o wysokiej precyzji i małej czułości. Po wytrenowaniu każdej z nich wagi przykładów pozytywnych, które zostały nieprawidłowo sklasyfikowane pozostają te same. Dla pozostałych przykładów jest używany algorytm zmiany wag z algorytmu AdaBoost. Wynik klasyfikacji komitetu jest pozytywny jeśli chociaż jeden z subklasyfikatorów da pozytywny wynik. W przeciwnym wypadku wynik klasyfikacji jest negatywny. Drugi algorytm jest AdaBoostem ze zmodyfikowanym wzorem na zmianę wag przykładów. Nowy wzór zwiększa wagę jeśli przykład fałszywy jest klasyfikowany nieprawidłowo, a zmniejsza w przeciwnym przypadku. Na większości testowanych zbiorów danych drugi algorytm osiąga lepsze wyniki niż pojedynczy klasyfikator lub AdaBoost.
File
Adam Szymanski High precision neural networks boosting.pdf 578.24 KB
Local fieldsIdentyfikator pracy APD: 14449

Get link to the record

Back