Multidimentional event and performance log analysis

Marcin Kubacki

Abstract

Constatntly growing complexity of computer systems imposes new challenges related to their monitoring and dependability evaluation. This thesis elaborates on multidimensional analysis dierent kids of logs used in computer systems. Studies presented in this thesis are focused on analysis of two main types of logs: event logs and performance logs. In the rst area, new methodologies and algorithms have been proposed. They cover dictionary analysis, event clustering (for event class extraction)in unstructured textual event messages and regular expression generation to enrich log information with structure of its messages. Algorithms presented streamline process of the event log analysis and were also used as one of the steps in correlation analysis with other types of logs. In the eld of performance logs analysis, a new methodology and algorithm for performance metrics analysis have been proposed. Its main feature is possibility to interactively analyse behaviour of performance metrics at dierent levels of detail simultaneously. It was compared to the traditional time series analysis (i.e. decomposition, periodograms and wavelets) that have been adopted for performance data. Moreover, a new approach for analysis using peak statistical characteristics have been proposed. In this thesis, practical application of the proposed methods and algorithms have been presented using sevearl faculty systems and NASK's compute cluster. Implementation of the algorithms presented was included in two applications: QPerfAnalyzer and LogMiner, enabling multidimensional analysis for event and performance logs. Event and process logs correlation with performance logs presented in thesis enable the possibility to build a multidimensional operational prole of the computer system, which can be essential in nding the cause of the issues and anomalies in the computer system. Results from the conducted analysis have proved usability of proposed methods and algorithms and indicated the direction of future research in this area.
Rodzaj dyplomuPraca doktorska
Autor Marcin Kubacki (WEiTI / II)
Marcin Kubacki
- Instytut Informatyki
Tytuł w języku polskimWielowymiarowa analiza logów zdarzeniowych i wydajnościowych w systemach komputerowych
Językpl polski
Jednostka dyplomującaWydział Elektroniki i Technik Informacyjnych (WEiTI)
Dyscyplina naukiinformatyka / dziedzina nauk technicznych / obszar nauk technicznych
Data rozpoczęcia28-01-2014
Data obrony14-07-2016
Data zakończenia 27-09-2016
Promotor Janusz Sosnowski (WEiTI / II)
Janusz Sosnowski
- Instytut Informatyki
Recenzenci zewnętrzni Henryk Krawczyk - [Wydział Elektroniki, Telekomunikacji i Informatyki (WETiI) [Politechnika Gdańska (PG)]]
Henryk Krawczyk
-
- Wydział Elektroniki, Telekomunikacji i Informatyki

Stanisław Jarząbek - [Politechnika Białostocka (PB)]
Stanisław Jarząbek
-
- Politechnika Białostocka
Wyróżnienietak
Paginacja 248
Słowa kluczowe w języku polskimdzienniki zdarzeniowe, dzienniki wydajnościowe, monitowanie systemów komputerowych, szeregi czasowe
Słowa kluczowe w języku angielskimevent log, performance log, system monitoring, time series
Streszczenie w języku polskimNieustannie rosnąca złożoność systemów komputerowych stawia coraz więcej wyzwań związanych z ich monitorowaniem i oceną wiarygodności. Niniejsza rozprawa została poświęcona wielowymiarowej analizie różnych rodzajów dzienników dostępnych w systemach komputerowych. W rozprawie skoncentrowano się na badaniach związanych z dwoma głównymi rodzajami dzienników: zdarzeniowych i wydajnościowych. W pierwszym obszarze, zaproponowano metodyki i algorytmy, które obejmowały analizę z użyciem słowników, ekstrakcję klas zdarzeń w nieustrukturyzowanych formach dzienników tekstowych oraz generację wyrażeń regularnych w celu wzbogacenia komunikatów o informację o strukturze ich zmiennych fragmentów. Przedstawione algorytmy usprawniają proces analizy dzienników zdarzeniowych i zostały również wykorzystane jako jeden z etapów przetwarzania przy analizach korelacyjnych z użyciem innych rodzajów logów. W przypadku dzienników wydajnościowych zaprezentowano metodykę z użyciem autorskiego algorytmu służącego do analizy przebiegu wskaźników obciążenia oraz profilami obciążeniowymi. Jego istotnym elementem jest umożliwienie interakcyjnej analizy na wielu poziomach szczegółowości jednocześnie. Zbadano również możliwość zaadoptowania klasycznych metod analizy szeregów czasowych (dekompozycja, periodogramy, transformaty falkowe) do analizy obciążenia w systemie komputerowym i porównano je z autorskim algorytmem. Dodatkowo zaproponowano również metodykę analizy opartą o charakterystyki statystyczne pików w przebiegach czasowym. W rozprawie przedstawiono również wyniki praktycznego zastosowania przedstawionych technik na przykładzie kilku serwerów oraz klastrów obliczeniowych. Implementacja algorytmów została zawarta w dwóch autorskich programach: QPerfAnalyzer i LogMiner, które umożliwiają wielowymiarową analizę dzienników zdarzeniowych i wydajnościowych. Zaprezentowana w rozprawie korelacja dzienników wydajnościowych z dziennikami zdarzeniowymi oraz procesów (zaproponowanym przez autora) pozwalają na stworzenie wielowymiarowego profilu operacyjnego systemu komputerowego, który może być bardzo pomocny w poszukiwaniu przyczyny i predykcji wystąpienia problemów lub anomalii. Analiza uzyskanych rezultatów potwierdziła przydatność zaproponowanych metodyk i algorytmów równocześnie wskazując dalsze kierunki badań w tym obszarze.
Klasyfikacja PKT4100
Klasyfikacja KBN28 Informatyka
Klasyfikacja europejska80-30
Plik pracy
Kubacki_doktorat.pdf 6.67 MB
Recenzje
Recenzja pracy Marcina Kubackiego wykonana przez prof.dr hab. Stanisława Jarząbka 3.68 MB
Recenzja pracy Marcina Kubackiego wykonana przez prof.dr hab. Henryka Krawczyka 2.59 MB
Inne pliki
abstract-Kubacki.pdf 5.11 KB
streszczenie-Kubacki.pdf 69.28 KB

Pobierz odnośnik do tego rekordu

Powrót