A System for Weeds and Crops Identification—Reaching over 10 FPS on Raspberry Pi with the Usage of MobileNets, DenseNet and Custom Modifications

Łukasz Chechliński , Barbara Siemiątkowska , Michał Majewski

Abstract

Automated weeding is an important research area in agrorobotics. Weeds can be removed mechanically or with the precise usage of herbicides. Deep Learning techniques achieved state of the art results in many computer vision tasks, however their deployment on low-cost mobile computers is still challenging. The described system contains several novelties, compared both with its previous version and related work. It is a part of a project of the automatic weeding machine, developed by the Warsaw University of Technology and MCMS Warka Ltd. Obtained models reach satisfying accuracy (detecting 47 – 67% of weed area, misclasifing as weed 0.1 – 0.9% of crop area) at over 10~FPS on the Raspberry Pi 3B+ computer. It was tested for four different plant species at different growth stadiums and lighting conditions. The system performing semantic segmentation is based on Convolutional Neural Networks. Its custom architecture combines U-Net, MobileNets, DenseNet and ResNet concepts. Amount of needed manual ground truth labels was significantly decreased by the usage of the knowledge distillation process, learning final model which mimics an ensemble of complex models on a large database of unlabeled data. Further decrease of the inference time was obtained by two custom modifications: in the usage of separable convolutions in DenseNet block and in the number of channels in each layer. In the authors’ opinion, the described novelties can be easily transferred to other agrorobotics tasks.
Author Łukasz Chechliński (FM / IACR)
Łukasz Chechliński,,
- The Institute of Automatic Control and Robotics
, Barbara Siemiątkowska (FM / IACR)
Barbara Siemiątkowska,,
- The Institute of Automatic Control and Robotics
, Michał Majewski - MCMS Warka
Michał Majewski,,
-
Journal seriesSensors, [SENSORS-BASEL], ISSN 1424-8220, e-ISSN 1424-3210, (N/A 100 pkt)
Issue year2019
Vol19
No17
Pages1-14
Publication size in sheets0.65
Article number3787
Keywords in Polishautomatyczne odchwaszczanie, mobilne konwolucyjne sieci neuronowe, segmentacja semantyczna
Keywords in Englishautomated weeding, mobile convolutional neural networks, semantic segmentation
ASJC Classification1303 Biochemistry; 1602 Analytical Chemistry; 2208 Electrical and Electronic Engineering; 3107 Atomic and Molecular Physics, and Optics
Abstract in PolishAutomatyczne odchwaszczanie jest ważnym obszarem badań agrorobotyki. Chwasty mogą być usuwane mechanicznie lub poprzez precyzyjne zastosowanie herbicydów. Techniki głebokiego uczenia osiągnęły najlepsze rezultaty w wielu zadaniach widzenia maszynowego, jednak ich wykorzystanie w nisko-kosztowych komputerach mobilnych ciągle stanowi wyzwanie. Opisywany system zawiera szereg elementów nowości, w porównaniu zarówno do jego poprzedniej wersji jak i innych prac w tym obszarze. Jest on częścią projektu urządzenia do automatycznego odchwaszczania, projektowanego przez Politechnikę Warszawska oraz MCMS Warka sp. z o.o. Wypracowane modele uzyskują satysfakcjonującą dokładność (wykrywając 47 – 67% powierzchni chwastów, błędnie uznając za chwasty 0,1 – 0,9% powierzchni roślin) przy szybkości przetwarzania powyzej 10 klatek na sekundę na komputerze Raspberry Pi 3B+. Testy wykonano dla 4 różnych gatunków roślin na różnych etapach wzrostu i w różnych warunkach oświetleniowych. System wykonujący segmentacje semantyczną oparty jest o konwolucyjne sieci neuronowe. Jego dedykowana architektura łączy koncepcje oryginalnie wprowadzone przez modele U-Net, MobileNets, DenseNet oraz ResNet. Ilość koniecznych etykiet ręcznych została znacząco zmniejszona dzięki zastosowaniu procedury ekstrakcji wiedzy, polegajacej na uczeniu finalnego modelu odwzorowywania zespołu modeli złożonych na dużej bazie danych pozbawionych etykiet ręcznych. Dalszy spadek czasu inferencji został osiągnięty dzięki wprowadzeniu dwóch autorskich modyfikacji: w wykorzystaniu konwolucji separowalnych w bloku DenseNet oraz w metodyce określania liczby kanałów w każdej z warstw sieci. W opinii autorów, opisane elementy nowości mogą być wykorzystane w innych zadaniach agrorobotyki.
DOIDOI:10.3390/s19173787
URL https://www.mdpi.com/1424-8220/19/17/3787
ProjectDigital image analysis in agricultural technology. Development of concepts, methods and algorithms and their implementation in the application of intelligent mechanism for destroys weeds in crops. Project leader: Wnuk Paweł, , Phone: +48 22234-8592, start date 27-07-2017, planned end date 31-01-2019, 501220100439, Implemented
WM
Languageen angielski
Score (nominal)100
Score sourcejournalList
ScoreMinisterial score = 100.0, 20-11-2019, ArticleFromJournal
Publication indicators WoS Citations = 0; Scopus SNIP (Source Normalised Impact per Paper): 2016 = 1.393; WoS Impact Factor: 2018 = 3.031 (2) - 2018=3.302 (5)
Citation count*
Cite
Share Share

Get link to the record


* presented citation count is obtained through Internet information analysis and it is close to the number calculated by the Publish or Perish system.
Back
Confirmation
Are you sure?