EMBODIED CONVERSATIONAL AGENT WITH FACIAL EXPRESSIONS

Abstract

ÖZET

Yapay zeka (AI) tarafından güçlendirilen sohbet robotları (chatbots) ve sanal insanlar, kendileriyle kullanıcılar arasında iletişim kurabilmeleri ve amaçlarına bağlı olarak farklı görevleri yerine getirebilmeleri nedeniyle son zamanlarda birçok uygulamada önemli bir rol oynamaktadır. Sohbet robotları, insanlarla iletişim kurmadaki yüksek verimlilikleri nedeniyle insanlarla makineler arasında etkileşim kurmanın en iyi örneği olarak kabul edilir. Bu yüzden çeşitli uygulamalarda kullanılmaktadır. Bu nedenle, bir sohbet robotunu sanal bir insanla birleştirme fikri, insanların dikkatini çekecek ve olumlu geri bildirimler alacaktır çünkü tarih boyunca yüz yüze iletişim insanların nasıl etkileşime girdiği ve geliştiği konusunda her zaman ana rol oynamıştır. Bu nedenle, kullanıcı dostu sanal bir avatara sahip olmanızı sağlayan ve kullanıcılarla gerçekçi etkileşim kuran bir açık alan konuşkan dijital insan sistemi sunuyoruz. Sistem, her biri duygu tanıma, diyalog oluşturma, yüz ifadesi çıkarma, animasyonlar, metinden konuşmaya ve konuşmayı metne dönüştürme gibi bir görevi tamamlamak için belirlenmiş bir 3D sanal karakter ve birden fazla yapay zeka modelinden oluşur.

ABSTRACT

Empowered by artificial intelligence (AI), recently two different topics are taking an essential role in many applications, which are chatbots and virtual humans, owing to their capability in establishing communication between them and the users for accomplishing different tasks depending on the purpose they were built for. Virtual humans are getting a lot of attention in different industries due to their realistic human form, behavior, and their ability to convey emotional feedbacks especially when experienced in virtual reality environment. On the other hand Chatbots are considered to be the most promising example of building interaction between humans and machines because of their high efficiency in communicating with people resulting in being utilized in various applications.

Thus the idea of combining a chatbot with a virtual human that acts as a normal human will draw people’s attention hence it will achieve positive feedback because face-to-face communication has always played a main role in how people interact and got developed throughout the history. Therefore, we present an Open-Domain Conversational Digital Human System that allows you to have a friendly virtual avatar and establishes realistic interaction with users. The system consists of a 3d virtual character and multiple artificial intelligence models each specified for completing a task like emotion recognition, dialogue generation, facial expression extraction, animations, text to speech and speech to text conversion.