Personality Analysis through Human Animation with Deep Learning-based Methods and Transferring Learned Personality Traits to Human Animation

Derin Öğrenme Temelli Yöntemler ile İnsan Animasyonu Üzerinden Kişilik Analizi ve Öğrenilen Kişilik Özelliklerinin İnsan Animasyonuna Aktarılması
(Personality Analysis through Human Animation with Deep Learning-based Methods and Transferring Learned Personality Traits to Human Animation)

Lisansüstü Bursiyerler
- Sinan Sonlu (Doktora Öğrencisi)
- Serkan Demirci (Doktora Öğrencisi)
- Arçin Ülkü Ergüzen (Yüksek Lisans Öğrencisi)
- Musa Ege Ünalan (Yüksek Lisans Öğrencisi)

15 Eylül 2022 - 15 Eylül 2024

1.044.899,03 TL

2. Dönem (15/09/2023 - 15/03/2024) Faaliyetleri

İnsan hareketi içeren TED Konferans videoları üzerinden yapılan bir kullanıcı çalışmasıyla seçilen örneklerin kişilik özellikleri tespit edilmiş, videoda kişilik algısında hareket ve dış görünüşün etkileri üzerinde analiz yapılmıştır.
Önceki proje döneminde ifade ettikleri kişilik özellikleri açısından etiketlenen örnekleri artırma amacıyla girdi animasyonları Laban Hareket Analizi açısından dönüştüren bir Blender eklentisi geliştirilmiştir. Bu eklenti yardımıyla, proje kapsamında geliştirilen öğrenme sistemlerinin daha başarılı biçimde eğitilmesi öngörülmektedir.
Mevcut GANimator ve Deep Motion Editing sistemleri kişilik algısını değiştirme amaçlı animasyon tarz aktarımı yönünden test edilmiş, bu sistemlerin kişilik aktarımı konusundaki eksikleri tespit edilmiştir.
Mevcut sistemlerin eksiklerini giderecek yönde, animasyon girdisi üzerinden hedeflenen kişilik özelliklerini yansıtacak değişiklikleri yaparak çıktı animasyon üreten bir pekiştirmeli öğrenme sistemi tasarlanmıştır. Sistemin eğitim süreci devam etmekte olup mevcut çıktılar yaklaşımın kişilik üzerindeki olumlu yöndeki etkisini doğrular niteliktedir.
NeMF yapısını temel alan bir kişilik aktarım sistemi tasarım aşamasındadır. Bu sistemin çıktılarının pekiştirmeli öğrenme kullanan sistemin çıktılarıyla karşılaştırılması planlanmaktadır.

1. Dönem (15/09/2022 - 15/09/2023) Faaliyetleri

Proje dâhilinde ihtiyaç olarak belirtilen ve masrafları bütçelendirilen MacBook Pro 14 inç M1 Pro çipli dizüstü bilgisayar bu dönem içerisinde temin edilmiştir.
Proje sürecinde kullanılmak üzere, çeşitli hareketleri içerecek biçimde, insan animasyonları erişime açık veri kümelerinden toplanıp hareket türü açısından eksik bulunan noktalarda, var olan hareket yakalama teknolojileri kullanılarak, yeni animasyonlar elde edilmiştir. Bu animasyonlar proje dahilinde oluşturulacak modellerin eğitiminde kullanılacaktır.
Projede kullanılabilecek derin öğrenme metodları test edilerek uygun modellerin amaçlar doğrultusunda değiştirilmesine başlanmıştır.
Bilkent Üniversitesi, Bilgisayar Mühendisliği Bölümünün bünyesindeki Modelleme ve Görselleştirme Araştırma Grubu (Mod-Vis) altında projenin sonuçlarının paylaşılması amacıyla bir proje web sayfası hazırlanmıştır. Proje Web sayfasına TÜBİTAK EEE-AG 122E123 Araştırma Projesi adresinden ulaşılabilir.

Hakemli Dergi Makaleleri

Hamila Mailee, Sinan Sonlu, and Uğur Güdükbay. Personality Expression in Cartoon Animal Characters Using Sasang Typology.Computer Animation and Virtual Worlds. 34(3-4): Article No. e2164, 14 pages, June/July 2023. Work Presented at 36th International Conference on Computer Animation and Social Agents (CASA 2023), Online from Limassol, Cyprus, 15-17 July 2023. (pdf) (Sunum Videosu)
Ayda Yurtoğlu, Sinan Sonlu, Yalım Doğan, Uğur Güdükbay, "Personality Perception in Human Videos Altered by Motion Transfer Networks", Computers & Graphics, Vol. 119, Article No. 103886, 11 pages, April 2024. (pdf) (Sunum Videosu) Bu makale Yeniden Üretilebilirlik Sertifikası almıştır.

Konferans Bildirileri