創科線

港聞

下一篇
上一篇

IVE生研發手語翻譯App 盼助聽障者求診

【明報專訊】香港有逾15萬名聽障者,不少以手語溝通,與健聽者產生隔閡。有IVE軟件工程畢業生開發出手語翻譯應用程式「SignChat」,以人工智能技術實時翻譯手語。程式內有近50組詞語,準確率約七至八成。IVE沙田院校資訊科技系署理高級講師郭譽豪期望,至年底會有百多組詞語,並考慮設定使用場景,例如醫院,方便聽障者與醫護溝通。

AI辨認雙手動作 準確率八成

IVE軟件工程高級文憑畢業生溫子軒與兩名同學花一年時間,開發出「SignChat」手語翻譯應用程式。溫表示,程式利用立體影像追蹤技術,啟動鏡頭後,與人距離一至兩米,保持光線充足,程式可從畫面辨認雙手,包括手指、手腕、手掌,共21個檢測點,以分辨不同手語動作,翻譯成文字。

在程式以人工智能(AI)協助翻譯,要先讓AI辨認不同手語。郭譽豪表示,訓練AI時,先輸入詞語,再重複拍攝不同手語用家展示該字詞的手語約30至50次,讓AI了解同一手語可能的偏差,從而提高翻譯準確度。

不同手語組合亦會衍生出不同意思,例如「早」和「食」串連出「早餐」的意思。郭譽豪說,程式利用了「自然語言處理」技術,令AI理解不同單字之間的關係,翻譯成相應詞語。

冀年底增至逾百詞語 加入不同場景

目前程式詞庫有近50組詞語,主要圍繞日常生活,如「早晨,你好嗎」、「我想食漢堡包」等,未正式公開使用。郭譽豪冀與非牟利機構合作擴充詞庫,到年底有過百組詞語,並會考慮加入不同使用場景的詞組,例如醫院內的溝通、表達不適,方便聽障者與醫護溝通。

此外,除由手語翻譯成文字,郭又稱程式亦可進一步開發,逆向由文字轉換成手語動作。

手語其實不止手勢,亦需要觀察面部表情,以表達語氣。郭稱,現先從最關鍵的部分做起,其後可加入不同數據例如表情,令翻譯更準確。

除了IVE學生,路德會啟聾學校與香港路德會早前亦開發出手語交流平台,可輸入中文句子翻譯成手語影像,亦有手語學習功能。該程式2019年獲創科生活基金批出近400萬元資助。

明報記者 林穎茵

相關字詞﹕手語 創科線 創科線

上 / 下一篇新聞