創科線

港聞

下一篇
上一篇

AI偵測動作連微表情 手語遊戲認識聽障世界

【明報專訊】今日是國際手語日。中大聯同Google及日本關西學院大學研發一款多語言網上手語遊戲,玩家玩遊戲時需以手語發出指令讓電腦鏡頭辨識,角色進入虛擬小鎮「手語村」後,要以準確手語完成在餐廳點菜、入住酒店等任務,從中學習港日兩地手語及聾人文化。中大手語及聾人研究中心副主任施婉萍指出,冀遊戲能增加大眾對手語的認知及接受程度,從而明白即使聽力健全者亦可學習手語,與聽障人士溝通。團隊希望長遠研發自動翻譯模型,將手語影像翻譯為文字。

附聾人生活小知識 冀手語譯成文字

「手語村」分別設日本及香港版,兩版本暫各有36個手語詞語;團隊自去年4月起研發,今年5月在兩地試用,已累積逾8500人使用。遊戲玩家進入「手語村」,要穿襯衫還是外套?吃意粉還是牛扒?遊戲會顯示不同選項的手語示範片段,須由玩家做出手語作選擇,手語打得準確,系統才能識別,玩家只需一台配備鏡頭的電腦,便能寓學習於娛樂,透過遊戲練習手語。遊戲角色亦附有聾人文化小知識,例如講解聾人是透過有閃光和震動的鬧鐘喚醒等。

遊戲透過鏡頭及人工智能技術偵測玩家肢體動作、面部表情及手部動作,解讀手語。中大手語及聾人研究中心助理電腦主任鄭家耀說,手語除了手部動作,亦依賴面部表情作識別,如「開心」一詞,需依賴表情表達快樂的程度。遊戲中每個詞語收集近百人的手語數據,由團隊及手語母語者,分析每個詞語的手部、肢體動作及表情對識別該詞語的重要性,計算3個部分各自的所佔比重,有別於過往類似的手語識別系統只將3項比重均分,更能準確辨識手語。

各地手語有別 研Google翻譯打破界限

Google團隊以兩地「手語」一詞的手勢作藍本,創作兩個造型可愛的角色。施婉萍稱,各地手語均有差別,冀研發以Google翻譯,將各地手語譯作文字,便利聾人溝通。

該系統不會辨識玩家容貌,僅收集動作和表情,以助系統持續學習解讀手語。鄭家耀指,手語的動作細微,系統識別能力有限,如「機器」和「電車」的手語中,雙手要交疊,系統雖能辨別5隻手指,卻難辨認被遮蓋的手部動作;手語中「好」、「是」、「正確」的肢體動作相同,須依賴口形分辨。團隊日後會朝這些方向研究,助系統識別更多手語。

明報記者 譚希琳

相關字詞﹕中大 手語 創科線

上 / 下一篇新聞