An incremental approximation method based on correlation analysis

Paweł Zawistowski

Abstract

This thesis develops a regression method called IBHM (Incrementally Built Heterogenous Model) which uses local information to automatically construct heterogeneous models. These models are weighted combinations of various nonlinear functions and the method is based on generalised linear regression. During the learning phase both the model structure and parameter values are estimated iteratively. Learning consists in maximization of filtered correlation coefficients between the model and the approximated function. These coefficients are estimated on subsets of training data that come from specific areas of the function domain which results in putting focus on local features of the approximated function. During the experimental phase a number of artificially defined regression tasks has been used to evaluate the influence of parameter settings on the quality of models constructed by IBHM. The obtained results where utilised to formulate a set of default parameter settings. To compare IBHM with other leading regression methods extensive tests have been performed on a large testbed of regression and time series forecasting tasks. The obtained results show that the method achieves comparable or superior performance to other existing methods of the same class. Also models generated using IBHM seem to be small and not susceptible to the problem of overfitting.
Rodzaj dyplomuPraca doktorska
Autor Paweł Zawistowski (WEiTI / ISE)
Paweł Zawistowski
- Instytut Systemów Elektronicznych
Tytuł w języku polskimAlgorytm przyrostowego uczenia się funkcji regresji wykorzystujący analizę korelacji
Językpl polski
Jednostka dyplomującaWydział Elektroniki i Technik Informacyjnych (WEiTI)
Dyscyplina naukiinformatyka / dziedzina nauk technicznych / obszar nauk technicznych
Data rozpoczęcia01-10-2008
Data obrony27-06-2016
Data zakończenia 27-09-2016
Promotor Jarosław Arabas (WEiTI / II)
Jarosław Arabas
- Instytut Informatyki
Recenzenci wewnętrzni Andrzej Pacut (WEiTI / IAiIS)
Andrzej Pacut
- Instytut Automatyki i Informatyki Stosowanej
Recenzenci zewnętrzni Jacek Koronacki
Jacek Koronacki
-
Wyróżnienietak
Paginacja 156
Słowa kluczowe w języku polskimaproksymacja nieliniowa, sztuczne sieci neuronowe, metody uczenia maszynowego, analiza korelacji
Słowa kluczowe w języku angielskimxx
Streszczenie w języku polskimNiniejsza rozprawa dotyczy zagadnienia regresji i przedstawia metodę przyrostowej konstrukcji nieliniowych modeli heterogenicznych — IBHM (Incrementally Built Heterogenous Model). Opracowana metoda wywodzi się z uogólnionej regresji liniowej i w swoim działaniu wykorzystuje analizę wartości współczynników korelacji występujących pomiędzy zmiennymi objaśniającymi a zmienną objaśnianą. W pracy zaproponowane zostało podejście polegające na analizie filtrowanych miar korelacji, pozwalające na konstrukcję modelu bez za- łożenia odnośnie niezależności par zmiennych objaśniających. Finalnie sformułowana została metody regresji, która samoczynnie ustala zarówno strukturę modelu jak i estymuje jego para- metry, przez co umożliwia budowę złożonych, heterogenicznych modeli obliczeniowych. W eksperymentalnej części badań, zweryfikowany został wpływ poszczególnych parametrów metody IBHM na jej działanie. Zaproponowany został również zestaw wartości parametrów, dzięki któremu metoda uzyskuje dobre wyniki na tle innych podejść. Przeprowadzone na licznym zestawie zadań regresji eksperymenty wykazały, że modele skonstruowane przez IBHM (bez dodatkowego strojenia parametrów) zazwyczaj uzyskiwały porównywalne bądź lepsze wyniki w porównaniu z modelami otrzymanymi przy pomocy innych metod, a dla których wykonywane było strojenie parametrów dla każdego z zadań indywidualnie. Do zalet metody należy również zaliczyć to, że konstruowane przez nią modele są niewielkich rozmiarów, co zmniejsza niebezpieczeństwo przeuczenia.
Klasyfikacja PKT410000; 812127
Klasyfikacja KBN28
Klasyfikacja europejska8030
Plik pracy
Zawistowski.pdf 5.17 MB
Recenzje
Recenzja pracy Pawła Zawistowskiego wykonana przez prof. dr hab. inż. Andrzeja Pacuta z dnia 15-05-2016
3.47 MB
Recenzja pracy Pawła Zawistowskiego wykonana przez prof. dr hab. inż. Jacka Koronackiego z dnia 25-05-2016
3.48 MB

Pobierz odnośnik do tego rekordu

Powrót