Dealing with contaminated datasets: An approach to classifier training

Władysław Homenda , Agnieszka Jastrzębska , Mariusz Rybnik

Abstract

The paper presents a novel approach to classification reinforced with rejection mechanism. The method is based on a two-tier set of classifiers. First layer classifies elements, second layer separates native elements from foreign ones in each distinguished class. The key novelty presented here is rejection mechanism training scheme according to the philosophy “one-against-all-other-classes”. Proposed method was tested in an empirical study of handwritten digits recognition.
Author Władysław Homenda - Faculty of Economics and Informatics in Vilnius, University of Bialystok, Kalvariju G. 135, LT-08221 Vilnius, Lithuania
Władysław Homenda,,
-
, Agnieszka Jastrzębska ZSMPW
Agnieszka Jastrzębska,,
- Department of Structural Methods for Knowledge Processing
, Mariusz Rybnik
Mariusz Rybnik,,
-
Pages180005-1-180005-4
Publication size in sheets0.3
Book Simos Theodore, Tsitouras Charalambos (eds.): Proceedings of The International Conference on Numerical Analysis and Applied Mathematics 2015 (Icnaam-2015), AIP Conference Proceedings, vol. 1738, 2016, AMER INST PHYSICS, ISBN 978-0-7354-1392-4
Keywords in Polishpattern recognition, classification, contaminated datasets, foreign elements, native elements
Abstract in PolishW pracy przedstawiono szczególny przypadek problemu rozpoznawania wzorca – kiedy tworzony model musi być przygotowany na sytuację, że na jego wejściu pojawią się elementy obce – śmieci. Jest to szczególnie ważny problem, gdy przetwarzane dane pochodzą ze źródeł „rzeczywistych” – np. są to automatycznie segmentowane ręczne notatki. W pracy zaproponowano mechanizm odrzucający elementy obce ze zbioru danych oparty o strukturę klasyfikatorów, które razem złożone ze sobą w określony sposób są w stanie oprócz zadania klasyfikacji wykonać zadanie odrzucania elementów obcych. Co ważne, etap uczenia zaproponowanego mechanizmu opera się wyłącznie na elementach właściwych. Dzięki temu uzyskujemy a stworzone podejście nie wymaga wiedzy o elementach-śmieciach a więc może być stosowane w szerokim zakresie.
DOIDOI:10.1063/1.4951952
URL http://aip.scitation.org/doi/abs/10.1063/1.4951952
Languageen angielski
Score (nominal)15
ScoreMinisterial score = 15.0, 26-06-2017, BookChapterSeriesAndMatConf
Ministerial score (2013-2016) = 15.0, 26-06-2017, BookChapterSeriesAndMatConf
Citation count*1 (2016-09-06)
Cite
Share Share



* presented citation count is obtained through Internet information analysis and it is close to the number calculated by the Publish or Perish system.
Back