Applying Machine Learning to Study Infrastructure Anomalies in a Mid-size Data Center - Preliminary Considerations
Authors:
- Piotr Janus,
- Maria Ganzha,
- Artur Bicki,
- Marcin Paprzycki
Abstract
Today, data centers deal with fast growing data volumes. To deliver services, they deploy growing amount of heterogeneous hardware. As a result, it becomes practically impossible to apply human-based data center management. For instance, in a real-world data center, with 500+ computers, delivering data, computational, and network services, it becomes impossible to visualize, and understand, causal relationships among variables describing performance of monitored resources. However, it is possible to collect data describing behavior of individual nodes. Hence, such data may be used to analyze/model system performance. In particular, it may be applied to recognize and predict anomalies in system behavior. Furthermore, collected data should allow finding the cause(s) of anomalies. Therefore, “data-driven approaches” have been applied to the real-world data, to find, so called, Root Cause of anomalies.
- Record ID
- WUT2b6d9aeff8a949098d06874535b9bf16
- Author
- Pages
- 218-227
- Book
- Olszak Celina, Celina Olszak Żurada Józef, Józef Żurada Kozanoglu Dilek Dilek Kozanoglu : Proceedings of the 54th Hawaii International Conference on System Sciences, Business Intelligence and Big Data for Innovative and Sustainable Development of Organizations, 2021, ScholarSpace, ISBN 978-0-9981331-4-0
- Keywords in Polish
- wykrywanie anomalii, przyczynowość, centrum danych, analiza przyczyn źródłowych, szeregi czasowe
- Keywords in English
- anomaly detection, causality, data center, root cause analysis, time series
- Abstract in Polish
- Obecnie centra danych radzą sobie z szybko rosnącymi wolumenami danych. Aby świadczyć usługi, wdrażają coraz większą ilość heterogenicznego sprzętu. W rezultacie zastosowanie zarządzania centrum danych opartego na ludziach staje się praktycznie niemożliwe. Na przykład w prawdziwym centrum danych z ponad 500 komputerami dostarczającymi dane, usługi obliczeniowe i sieciowe niemożliwe staje się wizualizacja i zrozumienie związków przyczynowych między zmiennymi opisującymi wydajność monitorowanych zasobów. Istnieje jednak możliwość zebrania danych opisujących zachowanie poszczególnych węzłów. Stąd takie dane mogą być wykorzystywane do analizy / modelowania wydajności systemu. W szczególności może być stosowany do rozpoznawania i przewidywania anomalii w zachowaniu systemu. Ponadto zebrane dane powinny pozwolić na znalezienie przyczyny (przyczyn) anomalii. Dlatego do rzeczywistych danych zastosowano „podejście oparte na danych”, aby znaleźć tak zwaną główną przyczynę anomalii.
- DOI
- DOI:10.24251/hicss.2021.025 Opening in a new tab
- URL
- http://hdl.handle.net/10125/70636 Opening in a new tab
- Language
- eng (en) English
- Score (nominal)
- 140
- Score source
- conferenceList
- Score
- = 140.0, 05-05-2022, ChapterFromConference
Share
- Uniform Resource Identifier
- https://repo.pw.edu.pl/info/article/WUT2b6d9aeff8a949098d06874535b9bf16/
- URN
urn:pw-repo:WUT2b6d9aeff8a949098d06874535b9bf16
* presented citation count is obtained through Internet information analysis and it is close to the number calculated by the Publish or PerishOpening in a new tab system.