Öndeki Aracı Geçme Probleminin Derin Pekiştirmeli Öğrenme Yöntemiyle Modellenerek Otonom Sistem Tasarımı


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Erciyes Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2023

Tezin Dili: Türkçe

Öğrenci: YASİN ATILKAN

Danışman: Fehim Köylü

Özet:

    Yapay zekâ alanında yapılan gelişmeler ile birlikte insanlar tarafından yapılan işler yapay sistemler tarafından da yapılır hale gelmiştir. Birçok alanda yapay zekâ tabanlı sistemler ile büyük başarımlar elde edilse de insan sürücüsüz araçlar olan otonom araçların performansı henüz yeterli seviyede olmayıp gelişime açıktır.
    
    Öndeki aracı geçme, en çok uygulanan araç davranışlarından biridir. Otonom araçlar zaman, konfor ve güvenlik yönünden zarara uğramamak için bu kabiliyete sahip olmalıdır. Otonom araç görevlerindeki son yaklaşımlar, sürüş davranışlarının zor ve karmaşık yapısı nedeni ile derin öğrenme tabanlı makine öğrenmesi yaklaşımlarıdır.
    
    Bu tez çalışmasında, derin pekiştirmeli öğrenme algoritmalarının öndeki aracı geçme problemi üzerindeki etkinliği simülasyon ortamlarında incelenmiştir. Oluşturulan ilk ortam, otonom aracın bir zaman adımında belirlenen eylem kümesinden bir tanesini seçebileceği kesikli eylem uzayında, diğer ortam ise belirli değer aralığından eylem seçimi yapabileceği sürekli eylem uzayında oluşturulmuştur. Üçüncü bir ortam ise öncelikle alt bir göreve odaklanarak müfredat öğrenme yaklaşımı ile kesikli eylem uzayında eğitilen modellerin performansını artırmak için oluşturulmuştur. Çalışmada derin Q-ağları, avantaj aktör kritik, proksimal politika optimizasyonu ve esnek aktör kritik algoritmaları kullanılmıştır. Bu algoritmalar farklı hiperparametre ayarlarında eğitilerek model sayıları artırılmıştır. Algoritmaların ilgili görevi çözmede hiperparametre değişikliğinden etkilendiği belirlenmiştir. Kesikli eylem uzayında eğitilen bir proksimal politika optimizasyonu modeli ve sürekli eylem uzayında eğitilen bir esnek aktör kritik modeli diğer modellere göre daha başarılı olmuşlardır. Ayrıca müfredat öğrenimi yaklaşımı ile derin Q-ağları ile eğitilen bir modelin performansı artırılarak yaklaşımın olumlu etkisi görülmüştür.