Knowledge base: Warsaw University of Technology

Settings and your account

Back

Development of algorithm for color mapping of a photo to 3D cloud of points

Ewa Rycaj

Abstract

The subject paper describes the development process of a method for easy, semi-automatic color mapping of an image to a 3D model. The tool was developed in response to the needs of the 3D documentation and digitalization department at Museum of King Jan III’s Palace in Wilanów. The purpose of this method is to texture 3D cultural heritage models from dense point cloud. The main purpose of the solution is to provide a 3D model that represents detailed geometry and color of a real object. In the first run, types of 3D models and texturing methods were presented. The paper focuses on models built from objective measures. Then, it briefly presents the work of the 3D documentation and digitalization department at Wilanów Museum. In the next step benefits resulting from using techniques based on independent acquisition of color and geometry information in the cultural heritage domain were provided. The general algorithm for 3D models texturing was introduced. A brief overview of many solutions that have been proposed for solving the coloring problem was provided. The advantages and disadvantages of each solution were presented, as well as main problems and usage limits. In the next chapter development instruments were described. The project was written in C++ language; OpenCV library and Frames software have been used. Later processing path was proposed. Assumptions and limitations for method were described. Data acquisition point and the algorithm were presented. Solution main elements were described: the algorithm for 3D model and 2D image alignment and the algorithm for color projection from image to a 3D model. In implementation section algorithm block diagrams, code fragments and sequential stages results were presented, particularly texture image processing algorithm, special scene render in Frames application algorithm, similarity measure between rendered view and image algorithm, camera parameters optimization algorithm and image on 3D model projection algorithm. Further, problems during tool design process and their solutions were discussed. In the conclusion section algorithm results were presented. Its effectiveness and limitations were evaluated. Together with suggestions for further improvement and development.
Diploma type
Engineer's / Bachelor of Science
Diploma type
Engineer's thesis
Author
Ewa Rycaj (FM) Ewa Rycaj,, Faculty of Mechatronics (FM)
Title in Polish
Opracowanie algorytmu do automatycznego mapowania barwy z fotografii na chmurę punktów 3D
Supervisor
Robert Sitnik (FM/IMPh) Robert Sitnik,, The Institute of Micromechanics and Photonics (FM/IMPh)Faculty of Mechatronics (FM)
Certifying unit
Faculty of Mechatronics (FM)
Affiliation unit
The Institute of Micromechanics and Photonics (FM/IMPh)
Study subject / specialization
, Mechatronika
Language
(pl) Polish
Status
Finished
Defense Date
17-05-2019
Issue date (year)
2019
Reviewers
Robert Sitnik (FM/IMPh) Robert Sitnik,, The Institute of Micromechanics and Photonics (FM/IMPh)Faculty of Mechatronics (FM) Marcin Rafał Witkowski (FM/IMPh) Marcin Rafał Witkowski,, The Institute of Micromechanics and Photonics (FM/IMPh)Faculty of Mechatronics (FM)
Keywords in Polish
teksturowanie 3D, rejestracja 2D/3D, chmura punktów, przetwarzanie obrazów
Keywords in English
3D texturing, 2D/3D registration, point cloud, image processing
Abstract in Polish
W niniejszej pracy opisany został przebieg prac nad opracowaniem metody umożliwiającej łatwe, półautomatyczne mapowanie barwy z fotografii na model 3D gęstej chmury punktów. Rozwiązanie zostało opracowane na podstawie potrzeb pracowni dokumentacji i cyfryzacji 3D w Muzeum Pałacu Króla Jana III w Wilanowie. Metoda pozwala na szybkie i łatwe teksturowanie wirtualnych modeli obiektów dziedzictwa kulturowego. Głównym celem algorytmu jest uzyskanie modelu, który dobrze odwzorowuje zarówno geometrię jak i barwę obiektu. W pierwszej kolejności przedstawiono rodzaje modeli 3D, a w szczególności modele powstałe w skutek pomiaru rzeczywistej geometrii oraz metody ich teksturowania. Następnie krótko przedstawiono zakres działania pracowni dokumentacji i cyfryzacji 3D w Muzeum w Wilanowie. W kolejnym kroku omówiono korzyści płynące z zastosowania metod łączących fotografię cyfrową i aktywne techniki pomiarowe w dziedzinie digitalizacji obiektów dziedzictwa kulturowego. Opisano ogólny algorytm teksturowania modeli 3D oraz dostępne metody opierające się na mapowaniu barwy z fotografii. Przedstawiono wady, zalety oraz możliwości stosowania każdej z nich. Omówiono też główne problemy związane z obrazowaniem barwy z rzeczywistych obiektów na modele wirtualne. W następnym rozdziale krótko scharakteryzowano narzędzia wykorzystane do opracowania modułu. Projekt został napisany w języku C++ z wykorzystaniem biblioteki OpenCV oraz aplikacji Frames. W dalszej części pracy zaproponowano ścieżkę przetwarzania. Przedstawiono stanowisko do zebrania danych fotograficznych. Omówiono główne elementy rozwiązania: algorytm dopasowania widoku modelu 3D do zdjęcia oraz algorytm projekcji barwy z fotografii. W części implementacyjnej zaprezentowano schematy blokowe algorytmu, fragmenty kodu oraz rezultaty działania algorytmów w szczególności: algorytmu przetwarzania obrazu z teksturą, algorytmu specjalnego renderowania sceny w aplikacji Frames, algorytmu miary podobieństwa między wyrenderowanym widokiem a zdjęciem, algorytmu optymalizacji parametrów kamery oraz algorytmu projekcji barwy. Przedstawiono też problemy podczas projektowania rozwiązania. W podsumowaniu przedstawiono efekty działania algorytmu. Dokonano krytycznej analizy jego skuteczności i możliwości stosowania. Zaproponowano również możliwości poprawy i dalszego rozwoju.
File
  • File: 1
    278261_inz.pdf
Request a WCAG compliant version
Local fields
Identyfikator pracy APD: 34008

Uniform Resource Identifier
https://repo.pw.edu.pl/info/bachelor/WUT63a5060717734650ba45fa6b2907c127/
URN
urn:pw-repo:WUT63a5060717734650ba45fa6b2907c127

Confirmation
Are you sure?
Report incorrect data on this page