HKIIT團隊研發「Dokodemo Call 隨意通」揉合AR於視像通話

新產品 焦點新聞

為幫助長者和弱勢社群能遙距學會使用電子產品或電器,香港資訊科技學院(HKIIT)老師及職業訓練局(VTC)軟件工程高級文憑畢業生最近開發了「Dokodemo Call 隨意通」的手機應用程式,為母親節獻禮。

「Dokodemo Call 隨意通」內設的視像通話功能與別不同,可利用擴增實境(Augmented Reality,AR)科技加入箭咀、圓圈、手指、代表步驟的數字等不同圖示,將抽象對話圖像化。作品曾於多個公開比賽獲獎外,團隊成員更親身試用應用程式教媽媽在電視機上「追台」,盡展孝心。母親節將至,除一束美麗鮮花外,有沒有想過送一份貼心的科技產品,充當媽媽或婆婆生活的「小幫手」之餘,亦能拉近家人的距離?

HKIIT團隊開發「Dokodemo Call 隨意通」的手機應用程式,內設的視像通話功能,利用AR科技加入不同圖示,將抽象對話圖像化。作品於「2023香港資訊及通訊科技獎」獲得學生創新(大專及學士)金獎。左起:HKIIT高級講師郭譽豪、VTC軟件工程高級文憑畢業生黃俊、程振雄、余榮焯,以及HKIIT講師雷華康。

「Dokodemo Call 隨意通」取名自日本經典漫畫主角的法寶「隨意門」(Dokodemo Door),象徵可隨心所欲前往任何地方,研發團隊同樣希望他們設計的應用程式能打破地域限制,讓溝通變得更有效,如同親臨協助。

子女可使用「Dokodemo Call 隨意通」教長輩操作洗衣機。用家與教導者視像通話時,可先用鏡頭對準電器或電子產品,讓電話另一端的教導者清楚看到儀器,並能實時在視像畫面中添加不同顏色的AR圖示,如圓圈、旋轉符號等,方便用家即時在畫面中看到圖示,二人邊對話邊以AR圖示輔助說明。

負責帶領項目的HKIIT高級講師郭譽豪分享創作靈感源自生活,他說:「有一次我在上課期間突然收到外母的『求救電話』,當時外母剛購入新的洗衣機,配備不同的新功能,但當她要使用時始發現無從入手,對於新款電器愈多功能,操作愈見繁複感到無奈。我讓外母先冷靜,再透過電話慢慢描述啟動洗衣機的步驟,但發現單憑言語表達並不足夠。」他向學生分享此經歷,並鼓勵同學利用創新科技構思解決方案。

開發團隊成員包括軟件工程高級文憑畢業生黃俊(Vincent)、余榮焯(Marco)及程振雄(Tommer)。Marco指使用手機、操作家庭電器和重設Wi-Fi訊號等,對年輕人來說是平常的日常事宜,但對長者來說確是難以上手。電子設備五花八門,操作複雜,利用電話單靠語言指示親友操作電器和電子產品往往「雞同鴨講」,難以表達外,又容易出現誤解,更有機會產生小爭執而影響關係。

「Dokodemo Call 隨意通」內有不同顏色的AR圖示,如箭咀、圓圈、交叉等,實用性強,方便指示。

有見及此,團隊開發的「Dokodemo Call 隨意通」手機應用程式便將AR技術融入視像通話中。Vincent介紹:「當長輩使用『Dokodemo Call 隨意通』應用程式與子女視像通話時,可先用鏡頭對準電器或電子產品,讓電話另一端的子女清楚看到儀器,此時,子女可實時在視像畫面中添加不同顏色的AR圖示,如箭咀、旋轉符號、圓圈、交叉、步驟數字等,長輩即時可在畫面中看到圖示,二人邊對話邊以AR圖示輔助說明,呈現指示和步驟。」

團隊成員Tommer表示,此應用程式揉合多種科技,如雲端技術、AR科技、網頁即時通訊(Web Real-Time Communication,WebRTC),以及智能手機的光學雷達感測空間技術,讓應用程式能辨認鏡頭對準的電器,用家添加了AR圖示符號後,符號能跟隨手機移動而改變角度和大小,令雙方透過視像通話溝通時能更準確解說。另外,「Dokodemo Call 隨意通」亦配備錄影功能,能儲存教學影片供長者隨時重溫。

 為提升作品的實用性和令作品更適合「老友記」使用,團隊積極優化用戶體驗設計(User Experience Design,UX),他們特意邀請十多位年長的親友試用和收集用家意見了解回饋。由於試用者反映AR圖示太小和缺乏顏色選擇,於是他們新增AR圖示放大縮小的功能和添加其他顏色,令作品更適合銀髮一族使用。

HKIIT高級講師郭譽豪(右)、VTC軟件工程高級文憑畢業生黃俊(左)憑「Dokodemo Call 隨意通」作品獲得多個中港創科比賽獎項。

團隊憑此作品參與多個中港創科比賽,屢獲殊榮,包括獲「2023香港資訊及通訊科技獎」學生創新(大專及學士)金獎、「2023亞太資訊及通訊科技大獎」(學生類別—專上學生項目)大獎、香港科技園「IDEATION」計劃的十萬港元種子基金、「第9屆香港大學生創新及創業大賽」資訊技術組別二等獎、「楊建文青年工業發展培育計劃」資訊科技學科組別的亞軍及最佳錄影獎、「中國高校計算機大賽—移動應用創新賽」一等獎。團隊除奪得合共約15萬元獎金外,更獲得不少展覽機會,與業界交流所學。

花盡心思開發作品,最終更成功孝敬家中長者,Vincent的媽媽便是受惠者之一。她憶述:「記得有一次我正在家看電視,突然訊號接收不穩,我措手不及,急忙致電兒子尋求解決方法。兒子著我重新『追台』,他一度想透過電話簡單解釋步驟,豈料三言兩語根本無法清楚表達,加上電視遙控器上的按鈕五顏六色,更要在螢幕主菜單點選不同選項,看得我一頭霧水,糾纏約半小時仍未能解決。此時,兒子便建議使用『Dokodemo Call 隨意通』,他在視像畫面上圈上要按的按鈕,以圖示指明主菜單應選的選項,不足十分鐘已順利解決問題!」Vincent媽媽大讚應用程式簡單易用,令不諳電子科技的長者亦能輕易上手。她被兒子的心意和專業技能所感動,她說:「最意想不到的是兒子竟懂得開發一個全新的手機應用程式協助長者,我為他感到很自豪!我希望應用程式可盡快推出市場,助其他孝子賢孫解決父母的『奇難雜症』。」

三位成員現已升讀本地大學電腦科學相關的學士學位課程裝備自己,並創立初創公司發展作品。他們正研究在此應用程式的系統中加入人工智能科技,利用手機鏡頭辨識電器種類,並即時在網上搜尋相關說明書協助用家操作。三人期望日後與智能設備公司及安老服務社企合作,供長者與照顧者試用系統,進一步完善通話功能及界面設計。