Development of a Real-Time Traffic Sign Recognition System Based on Deep Learning Approach With Convolutional Neural Networks and Integrating to the Embedded Systems


Akgül B. A. , Çinkılıç M. E. , Haznedar B. , Hasoğlu M. F.

CUKUROVA 5th International Scientific Researches Conference, Adana, Türkiye, 9 - 11 Ekim 2020, ss.158-159

  • Yayın Türü: Bildiri / Özet Bildiri
  • Basıldığı Şehir: Adana
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.158-159

Özet

Trafik işaretleri, dünya çapında karayolu trafik düzenlemelerinin zorunlu bir özelliğidir. Trafik işaretlerinin araçlar tarafından otomatik olarak algılanması ve tanınması sürücülerin ve yolcuların güvenlik düzeyini artıracaktır. Bu nedenle Gerçek Zamanlı Trafik İşareti Tanıma (RT-TSR) sistemi akıllı ulaşım sistemleri ve yüksek teknolojili araçlar için önemli bileşenlerden biridir. Son zamanlarda, kamuya açık veri setlerinde, özellikle de Derin Öğrenme (DL) gibi son teknoloji yaklaşımlarla oldukça iyi performanslar elde edilmiştir. Ancak bu yöntemlerin Gerçek Zamanlı (RT) uygulamalardaki gereksinimleri karşılamak için hala iyileştirilmesi gerekmektedir. Daha önceki TSR çalışmalarında kuramsal olarak ümit verici sonuçlar elde edilmiş olsa da gerçek dünyada RT çözümler sunan çok az çalışma vardır. Bu nedenle, bu çalışmada, yüksek tanıma oranı ve hızlı yürütülmesi nedeniyle DL tabanlı bir RT-TSR sistemi geliştirilmiştir. Ayrıca, RT olarak sınıflandırmayı gerçekleştirmek ve dijital görüntülemeyi desteklemek için geliştirilen yazılıma Bilgisayar Görüşü (CV) yaklaşımı da dâhil edilmiştir. Geliştirilen bu sistem, düşük hesaplama maliyeti ve yüksek başarım nedeniyle mobil GPU ya da CPU ya sahip gömülü sistemlerde sorunsuz çalışabilecek kapasitededir. Bu çalışma bu alana yazılım ve donanım olmak üzere iki önemli katkı sağlamaktadır. Birinci olarak, Evrişimli Sinir Ağları (CNN) tabanlı DL teknikleri kullanılarak ve CV teknikleri de ilave edilerek bir RT-TSR yazılımı geliştirilmiştir. İkinci olarak, geliştirilen yazılım gömülü cihazlara uyarlanmış ve donanımsal tasarımı yapılmıştır. Geliştirilen bu sistem aynı zamanda yazılım ve donanım çözümünü bir arada sunan bir teknoloji ürünüdür. Python programlama dili ile TensorFlow ve OpenCV çatısı altında kodlama yapılmıştır ve CNN eğitimi paralel mimari kullanılarak gerçekleştirilmiştir. Deneysel sonuçlar, geliştirilen CNN mimarisinin %99 doğruluk elde ettiğini göstermektedir ve sisteminin yüksek verimliliğini doğrulamaktadır.

Traffic signs are mandatory features of road traffic regulations worldwide. Automatic detection and recognition of traffic signs by vehicles can increase the safety level of drivers and passengers. For this reason, Real Time-Traffic Sign Recognition (RT-TSR) system is one of the important components for smart transportation systems and high-tech vehicles. Recently, very good performances have been achieved in public datasets, especially with state-of-the-art approaches like Deep Learning (DL). However, these methods still need to be improved to meet the requirements of Real-Time (RT) applications. Although promising results have been obtained theoretically in previous Traffic Sign Recognition (TSR) studies, there are very few studies that offer RT solutions in the real world. Therefore, in this study, a DL-based RT-TSR system is developed due to its high recognition rate and fast execution. Besides, the Computer Vision (CV) approach has been included in the software developed to achieve classification as RT and support digital imaging. This developed system is capable of running smoothly in embedded systems with mobile GPU or CPU thanks to its low computational cost and high performance. Therefore, this study makes two important contributions to this field: software and hardware. First, RT-TSR software has been developed by using Convolutional Neural Networks (CNN) based on DL techniques along with CV techniques. Secondly, the developed software is adapted to embedded devices and hardware design is made. This developed system is also a technology product that offers software and hardware solutions together. Coding is accomplished under TensorFlow and OpenCV frameworks with the python programming language and CNN training is carried out by using parallel architecture. The experimental results show that the developed CNN architecture achieves 99% accuracy and confirms the high efficiency of the system.