Knowledge base: Warsaw University of Technology

Settings and your account

Back

Sign language recognition for interaction between humanoid robots and deaf-mute people

Maciej Leoniak

Abstract

The work presents implementation of a program allowing for recognition of all of 26 American Sign Language letters form 200 by 200 pixel photographies. The training and test sets were creased based on 4 diverse datasets. Two methods were involved with classifying the pictures: - Classical, involving extracting keypoints using Scale-Invariant Feature Transform and classification with Support Vector Machines - Modern, based on Deep Artificial Neural Networks with Alexnet architecture, using Dropout and Batch normalization These methods achieved respectively 40% and 80% accuracy. All the results were analyzed in regards to influence of used methods and hyperparameter tuning process.
Diploma type
Engineer's / Bachelor of Science
Diploma type
Engineer's thesis
Author
Maciej Leoniak (FPAE) Maciej Leoniak,, Faculty of Power and Aeronautical Engineering (FPAE)
Title in Polish
Rozpoznawanie języka migowego w interakcji robotów humanoidalnych z osobami głuchoniemymi
Supervisor
Andrzej Kordecki (FPAE/IAAM) Andrzej Kordecki,, The Institute of Aeronautics and Applied Mechanics (FPAE/IAAM)Faculty of Power and Aeronautical Engineering (FPAE)
Certifying unit
Faculty of Power and Aeronautical Engineering (FPAE)
Affiliation unit
The Institute of Aeronautics and Applied Mechanics (FPAE/IAAM)
Study subject / specialization
, Automatyka i Robotyka (Automation and Robotics)
Language
(pl) Polish
Status
Finished
Defense Date
18-01-2019
Issue date (year)
2019
Pages
73
Internal identifier
MEL; PD-4916
Reviewers
Andrzej Kordecki (FPAE/IAAM) Andrzej Kordecki,, The Institute of Aeronautics and Applied Mechanics (FPAE/IAAM)Faculty of Power and Aeronautical Engineering (FPAE) Cezary Rzymkowski (FPAE/IAAM) Cezary Rzymkowski,, The Institute of Aeronautics and Applied Mechanics (FPAE/IAAM)Faculty of Power and Aeronautical Engineering (FPAE)
Keywords in Polish
Amerykański Język Migowy, rozpoznawanie obrazu, uczenie maszynowe, skaloniezmiennicze przekształcenie cech, maszyna wektorów nośnych, konwolucyjne sieci neuronowe
Keywords in English
American Sign Language, computer vision, machine learning, Scale-invariant Feature Transform, Support Vector Machine, Convolutional Neural Netrorks
Abstract in Polish
Praca przedstawia implementację programu do rozpoznawania wszystkich 26 znaków Amerykańskiego Języka Migowego na podstawie zdjęć o rozmiarach 200 na 200 pikseli. Zbiór danych do treningu i testu modelu powstał w oparciu o 4 różnorodne zbiory zdjęć. Klasyfikację zdjęć przeprowadzono wykorzystując 2 metody: - Klasyczną, polegającą na wyznaczeniu punktów charakterystycznych wykorzystując skaloniezmiannicze przekształcenie cech (ang. Scale-Invariant Feature Transform, SIFT) i klasyfikacji z użyciem Maszyny Wektorów Nośnych (ang. Support Vector Machine - SVM) - Metodę opartą o głębokie sztuczne sieci neuronowe, zaprojektowaną na wzór architektury AlexNet, wykorzystującą techniki Dropout i Batch Normalization Otrzymano tymi sposobami odpowiednio 40% i 80% dokładności. W pracy przeanalizowano wpływ stosowanych metod na jakość predykcji oraz proces doboru optymalnych parametrów algorytmów.
File
  • File: 1
    praca_inz.pdf
Request a WCAG compliant version
Local fields
Identyfikator pracy APD: 30365

Uniform Resource Identifier
https://repo.pw.edu.pl/info/bachelor/WUTb844ac429b1242c0a66394abb0459207/
URN
urn:pw-repo:WUTb844ac429b1242c0a66394abb0459207

Confirmation
Are you sure?
Report incorrect data on this page