體現(xiàn)“科技奧運(yùn)會(huì)”理念的“冬奧會(huì)手語(yǔ)廣播數(shù)字人”系統(tǒng)將在全國(guó)范圍內(nèi)推廣。這項(xiàng)技術(shù)為冬奧會(huì)期間全國(guó)聾人提供了精準(zhǔn)、自然、流暢的實(shí)時(shí)手語(yǔ)翻譯服務(wù)，解決了電視欄目不能完全覆蓋聽(tīng)障人群和手語(yǔ)翻譯人員不足的問(wèn)題。

據(jù)悉，這項(xiàng)技術(shù)得到了北京市科委科技冬奧會(huì)的支持，智譜AI、凌云光與北京廣播電視臺(tái)聯(lián)合打造，實(shí)現(xiàn)了北京冬奧會(huì)體育新聞節(jié)目的實(shí)時(shí)手語(yǔ)翻譯廣播，并于2月5日起在北京衛(wèi)視節(jié)目中成功試用。

“數(shù)字人”技術(shù)具有強(qiáng)大的技術(shù)應(yīng)用能力，將在全國(guó)范圍內(nèi)推廣。

2月9日，北京市科委在北京智譜華章科技有限公司(以下簡(jiǎn)稱“智譜AI”)舉辦了“科技冬奧會(huì)企業(yè)之行”大型主題系列采訪活動(dòng)，參與創(chuàng)建改應(yīng)用項(xiàng)目的智譜AI副總裁左家平、凌云光科技有限公司副總裁楊藝向中國(guó)工業(yè)報(bào)證實(shí)，“冬奧會(huì)手語(yǔ)廣播數(shù)字人”系統(tǒng)將在全國(guó)范圍內(nèi)進(jìn)行公益推廣，惠及眾多聽(tīng)障人士，可先應(yīng)用于各電視臺(tái)、網(wǎng)絡(luò)平臺(tái)、大屏幕等多媒體渠道。

北京冬奧會(huì)于2022年正式開(kāi)幕，既是體育節(jié)，也是科技賦能的“智慧”節(jié)。北京電視臺(tái)新聞中心副主任王毅在活動(dòng)現(xiàn)場(chǎng)表示，“冬奧會(huì)手語(yǔ)廣播數(shù)字人”技術(shù)表現(xiàn)出強(qiáng)大的科技應(yīng)用能力，既有公益推廣價(jià)值，又有商業(yè)應(yīng)用價(jià)值。它具有很大的綜合社會(huì)價(jià)值，希望得到推廣和使用。

科技賦能奧運(yùn)會(huì)，惠及2700萬(wàn)殘疾聽(tīng)障人員

隨著人工智能技術(shù)的快速發(fā)展和應(yīng)用，它正在成為推動(dòng)人類進(jìn)入智能時(shí)代的決定性力量。作為推動(dòng)AI研究從單一模型向多場(chǎng)景同用模型范式轉(zhuǎn)變的關(guān)鍵技術(shù)，超大型智能模型在2021年繼續(xù)成為國(guó)際AI前沿研究和應(yīng)用的熱點(diǎn)。與此同時(shí)，隨著新時(shí)期消費(fèi)者對(duì)虛擬內(nèi)容和服務(wù)的需求不斷增加，以及元宇宙概念的全球興起，虛擬現(xiàn)實(shí)和人工智能技術(shù)也成為全球關(guān)注的焦點(diǎn)。

據(jù)智譜AI副總裁左家平介紹，根據(jù)中國(guó)第二次殘疾人統(tǒng)計(jì)調(diào)查數(shù)據(jù)，中國(guó)有2700多萬(wàn)殘疾聽(tīng)力障礙者。這次冬奧會(huì)是中國(guó)歷史上第一次舉辦冬奧會(huì)，聽(tīng)力障礙者也期待對(duì)比賽信息有更深入的了解?！岸瑠W會(huì)手語(yǔ)廣播數(shù)字人”的科技賦能方式，讓他們更全面地感受到這場(chǎng)精彩優(yōu)秀的奧運(yùn)會(huì)。

集體智慧構(gòu)建最大的多模式手語(yǔ)語(yǔ)料庫(kù)

左家平介紹，“冬奧會(huì)手語(yǔ)廣播數(shù)字人”得到了北京市科委、中關(guān)村管委會(huì)等單位的支持，由智譜AI支持。、由凌云光和北京廣播電視臺(tái)聯(lián)合打造，清華大學(xué)賈伽教授團(tuán)隊(duì)和中國(guó)科學(xué)院計(jì)算研究所陳益強(qiáng)研究員團(tuán)隊(duì)也參與了相關(guān)關(guān)鍵技術(shù)的研發(fā)，得到了北京市殘聯(lián)和市殘聯(lián)聾人協(xié)會(huì)的幫助和支持。該系統(tǒng)以超大規(guī)模預(yù)訓(xùn)練模型為關(guān)鍵技術(shù)，獨(dú)立構(gòu)建多模態(tài)肢體動(dòng)作、表情、手指同步采集系統(tǒng)，利用跨模態(tài)擬人生成算法、極高精度現(xiàn)實(shí)數(shù)字人等行業(yè)領(lǐng)先技術(shù)，實(shí)現(xiàn)冬奧會(huì)期間專業(yè)手語(yǔ)翻譯廣播比賽。

2018年，《國(guó)家通用手語(yǔ)常用詞表》和《國(guó)家通用盲文方案》作為語(yǔ)言文字規(guī)范正式發(fā)布。為了推廣和普及國(guó)家通用手語(yǔ)，《冬奧會(huì)手語(yǔ)廣播數(shù)字人》系統(tǒng)完成了《國(guó)家通用手語(yǔ)詞典》收集和錄制的8214種通用手語(yǔ)，語(yǔ)法以聽(tīng)障人群習(xí)慣玩法為準(zhǔn)，保證了手語(yǔ)廣播成果的準(zhǔn)確性和專業(yè)性，更好地為聽(tīng)障人群服務(wù)。

由于目前國(guó)內(nèi)缺乏完善的手語(yǔ)材料數(shù)據(jù)，在北京殘聯(lián)和市殘聯(lián)聾人協(xié)會(huì)的支持下，研發(fā)人員邀請(qǐng)了40多名聾人教師和手語(yǔ)專家進(jìn)行手語(yǔ)文本轉(zhuǎn)寫和技術(shù)指導(dǎo)，并對(duì)聽(tīng)障人群進(jìn)行了大規(guī)模評(píng)估。最后，他們建立了中國(guó)最大的多模態(tài)手語(yǔ)材料庫(kù)，符合國(guó)家通用手語(yǔ)標(biāo)準(zhǔn)，總詞匯和句子規(guī)模超過(guò)10萬(wàn)。

超大規(guī)模預(yù)訓(xùn)練打造“智能數(shù)字大腦”，實(shí)現(xiàn)高自然手語(yǔ)動(dòng)作姿勢(shì)。

中國(guó)工業(yè)報(bào)從項(xiàng)目開(kāi)發(fā)人員的數(shù)據(jù)中了解到，為了構(gòu)建一個(gè)能夠理解和翻譯語(yǔ)音和手語(yǔ)的智能數(shù)字大腦，“冬奧手語(yǔ)廣播數(shù)字人”系統(tǒng)以超大規(guī)模的預(yù)訓(xùn)練模型為關(guān)鍵技術(shù)，通過(guò)語(yǔ)義蒸餾和手語(yǔ)翻譯快速編制模型，將新聞廣播中的語(yǔ)音蒸餾成語(yǔ)義高度接近的手語(yǔ)，并將其翻譯成符合手語(yǔ)習(xí)慣的語(yǔ)序。最后，手語(yǔ)數(shù)字大腦可以通過(guò)計(jì)算機(jī)模仿聽(tīng)障人士的大腦來(lái)驅(qū)動(dòng)手語(yǔ)廣播。

為了實(shí)現(xiàn)高精度、高自然性的人物形象和手語(yǔ)動(dòng)作姿勢(shì)，R&D部門還建立了多模態(tài)肢體動(dòng)作、表情和手指同步采集系統(tǒng)。通過(guò)采集多模態(tài)動(dòng)作捕捉數(shù)據(jù)，利用跨模態(tài)擬人生成算法，自然流暢地驅(qū)動(dòng)和渲染超現(xiàn)實(shí)數(shù)字人群，完成文本內(nèi)容的手語(yǔ)廣播。其中，面部采集是通過(guò)肌肉綁定技術(shù)驅(qū)動(dòng)實(shí)現(xiàn)的，結(jié)合行業(yè)領(lǐng)先的語(yǔ)音識(shí)別和超清晰視頻生成技術(shù)，向聽(tīng)障人群展示了親近自然的冬奧會(huì)手語(yǔ)廣播服務(wù)。

多模態(tài)動(dòng)作捕捉數(shù)據(jù)收集現(xiàn)場(chǎng)

應(yīng)用前景廣闊，使科技溫度更高

據(jù)活動(dòng)組織者現(xiàn)場(chǎng)介紹，手語(yǔ)廣播中數(shù)字人的應(yīng)用場(chǎng)景比較常見(jiàn)。一方面可以為新聞媒體提供全流程智能數(shù)字人手語(yǔ)生成服務(wù)，方便聽(tīng)障人士快速了解新聞簡(jiǎn)訊；另一方面，聲音廣播的內(nèi)容可以轉(zhuǎn)化為手語(yǔ)，為聽(tīng)障人士廣播冬奧會(huì)賽事和賽場(chǎng)成績(jī)，方便獲取即時(shí)信息。

冬奧會(huì)開(kāi)幕后，“冬奧會(huì)手語(yǔ)廣播數(shù)字人”每天繼續(xù)在北京衛(wèi)視“北京你早”節(jié)目中用手語(yǔ)廣播“冬奧會(huì)合集”和“一起看冬奧會(huì)”，不僅為聽(tīng)障人士提供手語(yǔ)信息廣播服務(wù)，降低冬奧會(huì)運(yùn)營(yíng)成本，還方便聽(tīng)障人士觀看比賽專題報(bào)道，提高社會(huì)參與度和幸福感。此外，手語(yǔ)廣播數(shù)字人的推廣可以加快國(guó)家通用手語(yǔ)的推廣，推動(dòng)國(guó)家通用手語(yǔ)標(biāo)準(zhǔn)的普及，為殘疾人平等參與社會(huì)生活創(chuàng)造一個(gè)無(wú)障礙的環(huán)境，讓科技更有溫度。更重要的是，這本書體現(xiàn)了尊重北京的城市。

智譜AICTO張鵬表示:“冬奧會(huì)手語(yǔ)廣播數(shù)字人的應(yīng)用，展現(xiàn)了企業(yè)‘讓機(jī)器像人一樣思考’的愿景。聽(tīng)障人士不僅可以快速獲取冬奧會(huì)的信息，還可以將無(wú)障礙環(huán)境的概念傳遞給數(shù)億人。智譜AI將繼續(xù)深化數(shù)據(jù)與知識(shí)融為一體的戰(zhàn)略，打造強(qiáng)大通用的人工智能系統(tǒng)，通過(guò)創(chuàng)新幫助中國(guó)人工智能生態(tài)建設(shè)，讓技術(shù)帶來(lái)更多價(jià)值?！?/p>

【新聞鏈接：智譜AI】

北京智譜華章科技有限公司于2021年12月2日當(dāng)選北京市第七批“專精特新”中小企業(yè)名單。

智譜AI作為國(guó)家高新技術(shù)企業(yè)，依托清華大學(xué)團(tuán)隊(duì)十余年的知識(shí)智能技術(shù)積累，匯聚了一批有激情的AI有志之士，努力打造下一代人工智能系統(tǒng)，數(shù)據(jù)與知識(shí)融為一體，實(shí)現(xiàn)“讓機(jī)器像人一樣思考”的愿景，推動(dòng)第三代人工智能的浪潮。

智譜AI參與開(kāi)發(fā)了超大規(guī)模的預(yù)訓(xùn)練模型“悟道”，構(gòu)建了高精度的通用知識(shí)地圖，開(kāi)發(fā)了中國(guó)最大的科技情報(bào)分析和挖掘平臺(tái)AMiner，讓人工智能了解科學(xué)，預(yù)測(cè)科技發(fā)展趨勢(shì)和人才發(fā)展?；凇皵?shù)據(jù)”和“知識(shí)”的虛擬數(shù)字大腦，結(jié)合人工智能技術(shù)和人類認(rèn)知模式，智譜AI將大規(guī)模預(yù)訓(xùn)練模型和知識(shí)地圖有機(jī)融合，使虛擬數(shù)字人可以不斷學(xué)習(xí)、推理和抽象。研發(fā)應(yīng)用包括科普數(shù)字人科技、冬奧會(huì)手語(yǔ)廣播數(shù)字人等。相關(guān)技術(shù)領(lǐng)域，北進(jìn)教育和知識(shí)產(chǎn)品。