“魔鏡魔鏡告訴我，我現(xiàn)在的心情怎么樣？”這樣的提問不再是童話故事里的專屬，在現(xiàn)實(shí)生活中，南京工業(yè)大學(xué)的同學(xué)們也設(shè)計(jì)出了一款“魔鏡”。只需要坐在電腦前說話，電腦中的數(shù)字人就能識別你的所有情緒。這款特別的“魔鏡”得到了專業(yè)認(rèn)可，在2022RoboCom機(jī)器人開發(fā)者大賽信息技術(shù)與工程創(chuàng)客賽道全國總決賽中獲得一等獎。
設(shè)計(jì)“魔鏡”的，是南京工業(yè)大學(xué)學(xué)生孫文浩、彭華東、沙書杰、邢卓雅、李彥達(dá)，他們在武曉光、郭天文老師的指導(dǎo)下，設(shè)計(jì)出了“魔鏡”的基本構(gòu)造。據(jù)介紹，人類的情緒極為復(fù)雜，共有27種不同的情緒，包括憤怒、厭惡、恐懼、快樂、悲傷、驚奇和中性七種基礎(chǔ)情緒。面對當(dāng)今快節(jié)奏的生活，人們或多或少都會有憤怒、焦慮等不良情緒，當(dāng)這些不良情緒無法及時消解時，便容易滋生各種生理和心理疾病。基于此，孫文浩等五位同學(xué)設(shè)計(jì)制作了一款能夠感知人類情緒的數(shù)字人形象助手——“魔鏡”，用戶只需要坐在電腦面前，打開攝像頭與麥克風(fēng)，對著“魔鏡”程序說話，“魔鏡”就能夠通過其聲音與視頻數(shù)據(jù)進(jìn)行情感識別，電腦中的數(shù)字人隨即會做出相對應(yīng)的表情，幫助用戶感知自己的情緒。
(資料圖片僅供參考)
團(tuán)隊(duì)將項(xiàng)目分為四個執(zhí)行步驟施行，即制作“魔鏡”的表情驅(qū)動、基于視覺的元宇宙情緒感知、基于聽覺的情緒感知以及最終產(chǎn)生的多模態(tài)情緒判斷。團(tuán)隊(duì)選擇了比動漫人物、動物在表情復(fù)現(xiàn)上更為精細(xì)的數(shù)字人寫實(shí)形象作為建模方案，而實(shí)現(xiàn)表情驅(qū)動則需要對真人的眉毛、眼睛、鼻子、嘴巴等70個特征點(diǎn)進(jìn)行標(biāo)定。
“在采集數(shù)據(jù)的過程中，我和孫文浩同學(xué)作為模特需要模仿各種各樣的表情，然而做出來的表情還是有些別扭，這對靦腆的我們來說可太難了，這個過程也為團(tuán)隊(duì)增添了不少樂趣。”團(tuán)隊(duì)成員沙書杰笑著說。
想實(shí)現(xiàn)基于視覺的元宇宙情緒感知，還需要對采集到的人臉表情進(jìn)行標(biāo)注分類，在網(wǎng)絡(luò)結(jié)構(gòu)模型方案的選擇上，團(tuán)隊(duì)通過實(shí)際場景測試，得出LeNet-5的準(zhǔn)確率為70％，而AlexNet的準(zhǔn)確率高達(dá)95％的測試結(jié)果，并最終選擇AlexNet網(wǎng)絡(luò)結(jié)構(gòu)模型。
“模型最終測試的準(zhǔn)確率和網(wǎng)絡(luò)模型有著直接關(guān)系，比如模型的層數(shù)不同，那么它的識別能力以及精度都是不同的。除此之外，超參數(shù)的選擇也會影響到模型的識別效果。”孫文浩補(bǔ)充道。
“想要辨別一個真實(shí)的人的情緒，光靠視覺辨別是遠(yuǎn)遠(yuǎn)不夠的，我們可以增加聲音這一模態(tài)來判斷人的情緒。”武曉光老師和郭天文老師在此基礎(chǔ)上又向團(tuán)隊(duì)提出了新的優(yōu)化方案。團(tuán)隊(duì)通過處理時域信號得出語音頻譜圖，從而實(shí)現(xiàn)基于聽覺的情緒識別。
“語音頻譜圖的語音數(shù)據(jù)集選自CASIA漢語情感語料庫，它是由中國科學(xué)院自動化所錄制，包括四個專業(yè)發(fā)音人，生氣、高興、害怕、悲傷、驚訝和中性等六種情緒，共4800句不同發(fā)音。”團(tuán)隊(duì)成員彭華東介紹。如此，“魔鏡”便可以基于視覺和聽覺這兩個模態(tài)對人的情緒進(jìn)行更深層次的感知。在兩位老師的指導(dǎo)下，該團(tuán)隊(duì)還完善了數(shù)字人細(xì)膩化表情呈現(xiàn)、精細(xì)化報告設(shè)計(jì)等問題。
團(tuán)隊(duì)帶著作品《基于多模態(tài)的元宇宙數(shù)字助手——魔鏡》參加了2022RoboCom機(jī)器人開發(fā)者大賽信息技術(shù)與工程創(chuàng)客賽道全國總決賽，成功摘得一等獎。
據(jù)悉，目前，“魔鏡”在功能上已經(jīng)實(shí)現(xiàn)了對情緒的準(zhǔn)確判斷，可以在人機(jī)交互的現(xiàn)實(shí)或虛擬場景中幫助計(jì)算機(jī)或虛擬機(jī)器人感知、理解人的情緒，并針對不同的情緒進(jìn)行音樂推送，在心理健康診斷、情緒舒緩等場景中實(shí)現(xiàn)應(yīng)用價值。未來，“魔鏡”有望在體量上轉(zhuǎn)至嵌入式平臺，實(shí)現(xiàn)設(shè)備的輕量化。同時，該團(tuán)隊(duì)還將加入更多模態(tài)，對人的情緒進(jìn)行更深入地探索，從而使“魔鏡”能夠更綜合地感知人的情緒并預(yù)測可能存在的心理疾病，達(dá)到提前預(yù)防與控制疾病的目的。
揚(yáng)子晚報/紫牛新聞記者 楊甜子
校對 王菲
責(zé)任編輯：Rex_07
營業(yè)執(zhí)照公示信息