體現(xiàn)“科技奧運會”理念的“冬奧會手語廣播數(shù)字人”系統(tǒng)將在全國范圍內(nèi)推廣。這項技術(shù)為冬奧會期間全國聾人提供了精準、自然、流暢的實時手語翻譯服務(wù)，解決了電視欄目不能完全覆蓋聽障人群和手語翻譯人員不足的問題。

據(jù)悉，這項技術(shù)得到了北京市科委科技冬奧會的支持，智譜AI、凌云光與北京廣播電視臺聯(lián)合打造，實現(xiàn)了北京冬奧會體育新聞節(jié)目的實時手語翻譯廣播，并于2月5日起在北京衛(wèi)視節(jié)目中成功試用。

“數(shù)字人”技術(shù)具有強大的技術(shù)應(yīng)用能力，將在全國范圍內(nèi)推廣。

2月9日，北京市科委在北京智譜華章科技有限公司(以下簡稱“智譜AI”)舉辦了“科技冬奧會企業(yè)之行”大型主題系列采訪活動，參與創(chuàng)建改應(yīng)用項目的智譜AI副總裁左家平、凌云光科技有限公司副總裁楊藝向中國工業(yè)報證實，“冬奧會手語廣播數(shù)字人”系統(tǒng)將在全國范圍內(nèi)進行公益推廣，惠及眾多聽障人士，可先應(yīng)用于各電視臺、網(wǎng)絡(luò)平臺、大屏幕等多媒體渠道。

北京冬奧會于2022年正式開幕，既是體育節(jié)，也是科技賦能的“智慧”節(jié)。北京電視臺新聞中心副主任王毅在活動現(xiàn)場表示，“冬奧會手語廣播數(shù)字人”技術(shù)表現(xiàn)出強大的科技應(yīng)用能力，既有公益推廣價值，又有商業(yè)應(yīng)用價值。它具有很大的綜合社會價值，希望得到推廣和使用。

科技賦能奧運會，惠及2700萬殘疾聽障人員

隨著人工智能技術(shù)的快速發(fā)展和應(yīng)用，它正在成為推動人類進入智能時代的決定性力量。作為推動AI研究從單一模型向多場景同用模型范式轉(zhuǎn)變的關(guān)鍵技術(shù)，超大型智能模型在2021年繼續(xù)成為國際AI前沿研究和應(yīng)用的熱點。與此同時，隨著新時期消費者對虛擬內(nèi)容和服務(wù)的需求不斷增加，以及元宇宙概念的全球興起，虛擬現(xiàn)實和人工智能技術(shù)也成為全球關(guān)注的焦點。

據(jù)智譜AI副總裁左家平介紹，根據(jù)中國第二次殘疾人統(tǒng)計調(diào)查數(shù)據(jù)，中國有2700多萬殘疾聽力障礙者。這次冬奧會是中國歷史上第一次舉辦冬奧會，聽力障礙者也期待對比賽信息有更深入的了解?！岸瑠W會手語廣播數(shù)字人”的科技賦能方式，讓他們更全面地感受到這場精彩優(yōu)秀的奧運會。

集體智慧構(gòu)建最大的多模式手語語料庫

左家平介紹，“冬奧會手語廣播數(shù)字人”得到了北京市科委、中關(guān)村管委會等單位的支持，由智譜AI支持。、由凌云光和北京廣播電視臺聯(lián)合打造，清華大學(xué)賈伽教授團隊和中國科學(xué)院計算研究所陳益強研究員團隊也參與了相關(guān)關(guān)鍵技術(shù)的研發(fā)，得到了北京市殘聯(lián)和市殘聯(lián)聾人協(xié)會的幫助和支持。該系統(tǒng)以超大規(guī)模預(yù)訓(xùn)練模型為關(guān)鍵技術(shù)，獨立構(gòu)建多模態(tài)肢體動作、表情、手指同步采集系統(tǒng)，利用跨模態(tài)擬人生成算法、極高精度現(xiàn)實數(shù)字人等行業(yè)領(lǐng)先技術(shù)，實現(xiàn)冬奧會期間專業(yè)手語翻譯廣播比賽。

2018年，《國家通用手語常用詞表》和《國家通用盲文方案》作為語言文字規(guī)范正式發(fā)布。為了推廣和普及國家通用手語，《冬奧會手語廣播數(shù)字人》系統(tǒng)完成了《國家通用手語詞典》收集和錄制的8214種通用手語，語法以聽障人群習(xí)慣玩法為準，保證了手語廣播成果的準確性和專業(yè)性，更好地為聽障人群服務(wù)。

由于目前國內(nèi)缺乏完善的手語材料數(shù)據(jù)，在北京殘聯(lián)和市殘聯(lián)聾人協(xié)會的支持下，研發(fā)人員邀請了40多名聾人教師和手語專家進行手語文本轉(zhuǎn)寫和技術(shù)指導(dǎo)，并對聽障人群進行了大規(guī)模評估。最后，他們建立了中國最大的多模態(tài)手語材料庫，符合國家通用手語標準，總詞匯和句子規(guī)模超過10萬。

超大規(guī)模預(yù)訓(xùn)練打造“智能數(shù)字大腦”，實現(xiàn)高自然手語動作姿勢。

中國工業(yè)報從項目開發(fā)人員的數(shù)據(jù)中了解到，為了構(gòu)建一個能夠理解和翻譯語音和手語的智能數(shù)字大腦，“冬奧手語廣播數(shù)字人”系統(tǒng)以超大規(guī)模的預(yù)訓(xùn)練模型為關(guān)鍵技術(shù)，通過語義蒸餾和手語翻譯快速編制模型，將新聞廣播中的語音蒸餾成語義高度接近的手語，并將其翻譯成符合手語習(xí)慣的語序。最后，手語數(shù)字大腦可以通過計算機模仿聽障人士的大腦來驅(qū)動手語廣播。

為了實現(xiàn)高精度、高自然性的人物形象和手語動作姿勢，R&D部門還建立了多模態(tài)肢體動作、表情和手指同步采集系統(tǒng)。通過采集多模態(tài)動作捕捉數(shù)據(jù)，利用跨模態(tài)擬人生成算法，自然流暢地驅(qū)動和渲染超現(xiàn)實數(shù)字人群，完成文本內(nèi)容的手語廣播。其中，面部采集是通過肌肉綁定技術(shù)驅(qū)動實現(xiàn)的，結(jié)合行業(yè)領(lǐng)先的語音識別和超清晰視頻生成技術(shù)，向聽障人群展示了親近自然的冬奧會手語廣播服務(wù)。

多模態(tài)動作捕捉數(shù)據(jù)收集現(xiàn)場

應(yīng)用前景廣闊，使科技溫度更高

據(jù)活動組織者現(xiàn)場介紹，手語廣播中數(shù)字人的應(yīng)用場景比較常見。一方面可以為新聞媒體提供全流程智能數(shù)字人手語生成服務(wù)，方便聽障人士快速了解新聞簡訊；另一方面，聲音廣播的內(nèi)容可以轉(zhuǎn)化為手語，為聽障人士廣播冬奧會賽事和賽場成績，方便獲取即時信息。

冬奧會開幕后，“冬奧會手語廣播數(shù)字人”每天繼續(xù)在北京衛(wèi)視“北京你早”節(jié)目中用手語廣播“冬奧會合集”和“一起看冬奧會”，不僅為聽障人士提供手語信息廣播服務(wù)，降低冬奧會運營成本，還方便聽障人士觀看比賽專題報道，提高社會參與度和幸福感。此外，手語廣播數(shù)字人的推廣可以加快國家通用手語的推廣，推動國家通用手語標準的普及，為殘疾人平等參與社會生活創(chuàng)造一個無障礙的環(huán)境，讓科技更有溫度。更重要的是，這本書體現(xiàn)了尊重北京的城市。

智譜AICTO張鵬表示:“冬奧會手語廣播數(shù)字人的應(yīng)用，展現(xiàn)了企業(yè)‘讓機器像人一樣思考’的愿景。聽障人士不僅可以快速獲取冬奧會的信息，還可以將無障礙環(huán)境的概念傳遞給數(shù)億人。智譜AI將繼續(xù)深化數(shù)據(jù)與知識融為一體的戰(zhàn)略，打造強大通用的人工智能系統(tǒng)，通過創(chuàng)新幫助中國人工智能生態(tài)建設(shè)，讓技術(shù)帶來更多價值?！?/p>

【新聞鏈接：智譜AI】

北京智譜華章科技有限公司于2021年12月2日當選北京市第七批“專精特新”中小企業(yè)名單。

智譜AI作為國家高新技術(shù)企業(yè)，依托清華大學(xué)團隊十余年的知識智能技術(shù)積累，匯聚了一批有激情的AI有志之士，努力打造下一代人工智能系統(tǒng)，數(shù)據(jù)與知識融為一體，實現(xiàn)“讓機器像人一樣思考”的愿景，推動第三代人工智能的浪潮。

智譜AI參與開發(fā)了超大規(guī)模的預(yù)訓(xùn)練模型“悟道”，構(gòu)建了高精度的通用知識地圖，開發(fā)了中國最大的科技情報分析和挖掘平臺AMiner，讓人工智能了解科學(xué)，預(yù)測科技發(fā)展趨勢和人才發(fā)展?；凇皵?shù)據(jù)”和“知識”的虛擬數(shù)字大腦，結(jié)合人工智能技術(shù)和人類認知模式，智譜AI將大規(guī)模預(yù)訓(xùn)練模型和知識地圖有機融合，使虛擬數(shù)字人可以不斷學(xué)習(xí)、推理和抽象。研發(fā)應(yīng)用包括科普數(shù)字人科技、冬奧會手語廣播數(shù)字人等。相關(guān)技術(shù)領(lǐng)域，北進教育和知識產(chǎn)品。