Knowledge base: Warsaw University of Technology

Settings and your account

Back

Study of a model, based on Recurrent Neural Network, to verify the corectness of performing physical exercises during rehabilitation using Kinect v2

Jakub Banaszkiewicz

Abstract

The aim of the thesis was to create a system which would support the process of physical rehabilitation by verifying the correctness of movements using artificial intelligence. The specific goal was to examine the possibility of using artificial intelligence to analyze the skeleton approximation coming from the Kinect sensor. In the diploma the Kinect v2 sensor was used as a data acquistion tool. Python programming language and popular libraries for data processing were used, i.a. Numpy or Scikit-learn. Neural networks have been implemented using the Keras library. The task was realized with usage of recurent neural network. A state-of-the-art network architecture Long Short-term Memory (LSTM), was chosen for implementation. Data was preprocessed to reduce dimensionality and normalized before sending to the neural network. The developed solution allows to recognize movement sequences live during the rehabilitating game. It also let to send feedback about prediction to the player. The solution allows to achieve a minimum predictive value of 70% for an individual movement.
Diploma type
Engineer's / Bachelor of Science
Diploma type
Engineer's thesis
Author
Jakub Banaszkiewicz (FM) Jakub Banaszkiewicz,, Faculty of Mechatronics (FM)
Title in Polish
Opracowanie modelu opartego na rekurencyjnych sieciach neuronowych do weryfikacji poprawności wykonywania ćwiczeń fizycznych podczas rehabilitacji z użyciem systemu Kinect V2
Supervisor
Robert Sitnik (FM/IMPh) Robert Sitnik,, The Institute of Micromechanics and Photonics (FM/IMPh)Faculty of Mechatronics (FM)
Certifying unit
Faculty of Mechatronics (FM)
Affiliation unit
The Institute of Micromechanics and Photonics (FM/IMPh)
Study subject / specialization
, Automatyka i Robotyka (Automation and Robotics)
Language
(pl) Polish
Status
Finished
Defense Date
28-05-2019
Issue date (year)
2019
Reviewers
Robert Sitnik (FM/IMPh) Robert Sitnik,, The Institute of Micromechanics and Photonics (FM/IMPh)Faculty of Mechatronics (FM) Sławomir Paśko (FM/IMPh) Sławomir Paśko,, The Institute of Micromechanics and Photonics (FM/IMPh)Faculty of Mechatronics (FM)
Keywords in Polish
sztuczna inteligencja, uczenie maszynowe, rekurencyjne sieci neuronowe, Kinect v2, aproksymacja szkieletu, dane online, LSTM, redukcja wymiarowości, rehabilitacja ruchowa.
Keywords in English
artificial intelligence, machine learning, recurrent neural networks, Kinect v2, skeleton approximation, online data, LSTM, dimensional reduction, physical rehabilitation.
Abstract in Polish
Celem pracy było stworzenie systemu wspomagającego proces rehabilitacji ruchowej przez weryfikację poprawności wykonywania ruchów w danym procesie rehabilitacyjnym z wykorzystaniem sztucznej inteligencji. Szczególnym celem było zbadanie możliwości wykorzystania sztucznej inteligencji w analizie danych w postaci aproksymacji szkieletu pochodzącej z czujnika Kinect. W pracy dyplomowej wykorzystano sensor Kinect v2, jako narzędzie do zbierania danych. Wykorzystano język programowania Python i popularne biblioteki do przetwarzania danych, między innymi Numpy, czy Scikit-learn. Sieci neuronowe zostały zaimplementowane z wykorzystaniem biblioteki Keras. Zadanie zostało zrealizowane z wykorzystaniem rekurencyjnych sieci neuronowych. Zdecydowano się na wykorzystanie jednego z najnowocześniejszych algorytmów tego typu – Long Short-term Memory. Dane przed przetwarzaniem przez sieć neuronową były poddawane redukcji wymiarowości. Opracowane rozwiązanie pozwala na predykcję sekwencji ruchowych wykorzystywanych w rehabilitacji „na żywo”, podczas gry osoby rehabilitowanej i wysyłanie informacji zwrotnej o wyniku predykcji. Zbudowane rozwiązanie podczas testów pozwoliło na osiągnięcie rezultatów zapewniających minimum 70% wartości pewności predykcji poszczególnych ruchów.
File
  • File: 1
    AiR_1st_278160.pdf
Request a WCAG compliant version
Local fields
Identyfikator pracy APD: 34017

Uniform Resource Identifier
https://repo.pw.edu.pl/info/bachelor/WUT0187e5032ed74dadbf9a13404fe40615/
URN
urn:pw-repo:WUT0187e5032ed74dadbf9a13404fe40615

Confirmation
Are you sure?
Report incorrect data on this page