ERUSLR: a new Turkish sign language dataset and its recognition using hyperparameter optimization aided convolutional neural network


Özcan T. , Baştürk A.

Journal Of The Faculty Of Engineering And Architecture Of Gazi University, vol.36, pp.527-542, 2021 (Journal Indexed in SCI Expanded)

  • Publication Type: Article / Article
  • Volume: 36
  • Publication Date: 2021
  • Doi Number: 10.17341/gazimmfd.746793
  • Title of Journal : Journal Of The Faculty Of Engineering And Architecture Of Gazi University
  • Page Numbers: pp.527-542

Abstract

İşaret dili, dilsel ve işitsel yetilerini kaybeden konuşma ve duyma engelli bireylerin iletişimini sağlayan en önemli araçtır. El hareketi, mimik veya dudak hareketi kullanılarak iletişimin sağlandığı işaret dilini öğrenmek oldukça zor bir süreçtir. Sağır ve dilsiz bireylerin anlaşılması için gerekli olan işaret dilinin bilinmediği ortamlarda ciddi sorunlar ortaya çıkabilir. Hastanelerin acil servislerine başvuran engelli bireylerin anlaşılamaması ise kritik sonuçlar doğurabilir. Bu çalışmada, öncelikle, hastanelerin acil servisinde sıklıkla kullanılan kelimelerle yeni bir veri seti oluşturulmuştur. 25 kelime, 49 engelli birey tarafından birden fazla tekrarlanmış ve farklı açılardan videoları kaydedilmiştir. Erciyes University Sign Language Recognition (ERUSLR) adı verilen bu veri seti 13186 örnek içermektedir. Geliştirilen ERUSLR veri seti kullanılarak bir sınıflandırma modeli oluşturmak istenmiştir. İşaret dilinin tanınması, son yıllarda sınıflandırma problemlerinde sıklıkla kullanılan evrişimli sinir ağı (CNN) ile gerçekleşebilmektedir. Yeni bir CNN modelinin geliştirilmesinden daha kolay ve etkili olan yöntem, transfer öğrenme ile CNN modeli oluşturmaktır. Dolayısıyla, GoogLeNet ön eğitimli modelinden transfer öğrenme gerçekleştirilerek GoogLeNet tabanlı bir CNN modeli oluşturulmuştur. CNN modelinin performansını artıran bir başka etken eğitim parametrelerinin optimize edilmesidir. Global ve sezgisel arama yöntemleri, parametre optimizasyonunda kullanılan ve zamansal kazanç sağlayan metotlardır. Bu çalışmada grid arama (GS), rastgele arama (RS) ve genetik algoritma (GA) yöntemleri, GoogLeNet tabanlı CNN modelinin eğitim parametrelerini optimize etmek için kullanılmıştır. Deneysel sonuçlara göre, GA destekli GoogLeNet tabanlı CNN modeli (%93,93 başarı oranıyla) diğer yöntemlerden daha başarılı sonuç vermiştir.