11月30日-12月1日，2023未來(lái)醫(yī)療科技大會(huì)在合肥舉辦。大會(huì)以“無(wú)人之境”為主題，匯聚了近百位大咖嘉賓，聚焦智能醫(yī)療設(shè)備、基因測(cè)序、生物技術(shù)、生成式AI與醫(yī)療場(chǎng)景的結(jié)合等細(xì)分領(lǐng)域，為行業(yè)帶來(lái)一場(chǎng)產(chǎn)業(yè)思想交流盛宴。

作為大會(huì)核心論壇之一，生成式AI創(chuàng)新場(chǎng)景應(yīng)用論壇于12月1日如期舉行。行業(yè)專家學(xué)者、頭部 AI 企業(yè)、頂尖投資人齊聚一堂，深度解讀生成式 AI 最新應(yīng)用和未來(lái)發(fā)展機(jī)遇。云知聲IoT事業(yè)部、智慧醫(yī)療事業(yè)部總裁謝冠超應(yīng)邀出席論壇并發(fā)表《生成式AI在病歷生成場(chǎng)景中的應(yīng)用》主題演講。

深耕人工智能產(chǎn)業(yè)多年，云知聲一直密切關(guān)注AI前沿技術(shù)在醫(yī)療領(lǐng)域的創(chuàng)新應(yīng)用。入局智慧醫(yī)療賽道以來(lái)，云知聲針對(duì)醫(yī)療行業(yè)各場(chǎng)景痛點(diǎn)，陸續(xù)研發(fā)推出了語(yǔ)音電子病歷、智能病歷質(zhì)控、單病種質(zhì)控、智能醫(yī)保審核等多款智慧醫(yī)療產(chǎn)品，覆蓋醫(yī)政醫(yī)管、臨床診療、醫(yī)保管理、患者服務(wù)等多個(gè)醫(yī)療業(yè)務(wù)環(huán)節(jié)，山海大模型發(fā)布后，云知聲更是全面升級(jí)了醫(yī)療業(yè)務(wù)線各產(chǎn)品智能化水平，發(fā)布門診病歷生成系統(tǒng)、手術(shù)記錄撰寫助手、商保智能理賠系統(tǒng)等醫(yī)療產(chǎn)品應(yīng)用，實(shí)現(xiàn)從助手到專家的躍遷。

現(xiàn)場(chǎng)，謝冠超基于過(guò)往云知聲在智慧醫(yī)療領(lǐng)域的技術(shù)探索與經(jīng)驗(yàn)積累，深度分享了生成式AI在病歷生成場(chǎng)景中的應(yīng)用。

PART 1

門診病歷生成系統(tǒng)：山海大模型在醫(yī)療場(chǎng)景的落地應(yīng)用

門診病歷是對(duì)患者疾病發(fā)生、發(fā)展、轉(zhuǎn)歸、檢查、診斷、治療過(guò)程的記錄；是臨床實(shí)踐工作的總結(jié)，是探索疾病規(guī)律的依據(jù)，也是進(jìn)行臨床科研和知識(shí)發(fā)現(xiàn)的寶貴資料。

規(guī)范和完善病歷質(zhì)量，對(duì)預(yù)防醫(yī)療糾紛發(fā)生，保護(hù)醫(yī)務(wù)人員的合法權(quán)益，規(guī)范門診醫(yī)療行為、改善醫(yī)療服務(wù)、提高醫(yī)療質(zhì)量具有重要意義。

然而，對(duì)于門診醫(yī)生而言，每個(gè)門診單元（四個(gè)小時(shí)）要接診30-40個(gè)患者，平均每個(gè)患者6-8分鐘；平均每份病歷150-200字，錄入時(shí)間為1.5min-2min。在接診工作、病歷錄入工作如此繁復(fù)的情況下，很難完成高質(zhì)量的門診病歷。

為解決這一痛點(diǎn)，云知聲以山海大模型為技術(shù)底座，應(yīng)用前端聲音信號(hào)處理、智能語(yǔ)音識(shí)別等技術(shù)，結(jié)合龐大的醫(yī)療知識(shí)圖譜，打造門診病歷生成系統(tǒng)，一鍵生成門診病歷。

具體來(lái)講，云知聲先是通過(guò)噪音抑制、回聲消除等技術(shù)，精準(zhǔn)捕捉醫(yī)患對(duì)話并對(duì)其進(jìn)行角色分離，再依托山海大模型，智能抓取對(duì)話中的關(guān)鍵問診信息，對(duì)其進(jìn)行標(biāo)準(zhǔn)化、結(jié)構(gòu)化處理，從而形成準(zhǔn)確、簡(jiǎn)潔的醫(yī)療摘要，經(jīng)醫(yī)生審核修改后，即可生成符合病歷書寫規(guī)范的標(biāo)準(zhǔn)病歷。

在云知聲門診病歷生成系統(tǒng)的助力下，門診病歷的規(guī)范性、完整性大幅提升，病歷內(nèi)容更加詳實(shí)、準(zhǔn)確，醫(yī)生只需在系統(tǒng)生成的病歷上稍作修改即可完成最終病歷，有效提升門診效率，切實(shí)為醫(yī)生減負(fù)的同時(shí)，也大幅提升了患者的就診體驗(yàn)。

作為支撐云知聲門診病歷生成系統(tǒng)的技術(shù)底座，山海大模型在醫(yī)療領(lǐng)域的表現(xiàn)頗為出色——MedQA任務(wù)達(dá)87.1%，超越Med-PaLM 2；臨床執(zhí)業(yè)醫(yī)師資格考試達(dá)523分（總分600分），超過(guò)99%的考生水平；在 CCKS 2023 PromptCBLUE醫(yī)療大模型評(píng)測(cè)中，云知聲也憑借基于山海大模型孵化的UNIGPT-MED 模型獲通用賽道一等獎(jiǎng)。

亮眼成績(jī)的背后，是云知聲對(duì)模型專業(yè)能力的極致打磨。針對(duì)低容錯(cuò)率的醫(yī)療場(chǎng)景，云知聲從預(yù)訓(xùn)練、微調(diào)、推理、知識(shí)插件機(jī)制四個(gè)方面發(fā)力，打造更“懂”醫(yī)療場(chǎng)景的大模型：

● 預(yù)訓(xùn)練階段

基于山海大模型通用底座，利用海量醫(yī)療語(yǔ)料（包括醫(yī)療教材，臨床指南，醫(yī)院病歷等）做增量預(yù)訓(xùn)練，提高模型的醫(yī)學(xué)語(yǔ)言理解和生成能力。

● 微調(diào)階段

優(yōu)選歷年醫(yī)學(xué)考試題目對(duì)山海醫(yī)療基座模型做微調(diào)，提高模型的醫(yī)學(xué)考試能力。

● 推理階段

利用思維鏈技術(shù)注入解題思路過(guò)程，提高模型的醫(yī)學(xué)推理能力。

● 知識(shí)插件機(jī)制

通過(guò)使用多年來(lái)積累的醫(yī)學(xué)知識(shí)圖譜，可以動(dòng)態(tài)地檢索與問題相關(guān)的醫(yī)學(xué)知識(shí)。這些知識(shí)可以作為背景知識(shí)，與大模型中的參數(shù)化知識(shí)相結(jié)合，從而提高模型在醫(yī)學(xué)領(lǐng)域的知識(shí)水平。

目前，基于山海大模型打造的門診病歷生成系統(tǒng)已在北京友誼醫(yī)院落地試用，也先后榮獲北京市首批人工智能行業(yè)大模型應(yīng)用案例、2023北京人工智能行業(yè)賦能典型案例等榮譽(yù)獎(jiǎng)項(xiàng)，大模型技術(shù)實(shí)力與場(chǎng)景落地能力得到業(yè)界高度認(rèn)可。

PART 2

“做比想要困難很多”，病歷生成系統(tǒng)落地過(guò)程中面臨的實(shí)際挑戰(zhàn)

從產(chǎn)品設(shè)想，到落地實(shí)施，一個(gè)產(chǎn)品的誕生從不是一蹴而就的。在門診病歷生成系統(tǒng)的落地過(guò)程中，云知聲主要面臨以下挑戰(zhàn)：

一是診室環(huán)境復(fù)雜。在我們理想的問診場(chǎng)景中，每個(gè)診室是一醫(yī)一患的面對(duì)面溝通。而在實(shí)際場(chǎng)景中，每個(gè)診室可能有多位醫(yī)生同時(shí)坐診，且部分患者需要家屬陪同。而在問診過(guò)程中，醫(yī)生有時(shí)需要跟患者接觸，位置會(huì)隨之移動(dòng)，這也為語(yǔ)音收錄和角色分離增加了難度。為解決以上問題，云知聲門診病歷生成系統(tǒng)的語(yǔ)音方案針對(duì)不同診室環(huán)境，采取靈活定制的方式，最大程度上確保了麥克風(fēng)的拾音效果。

二是醫(yī)患對(duì)話不規(guī)范。存在醫(yī)療表達(dá)難理解、醫(yī)患對(duì)話重疊、醫(yī)患對(duì)話中有第三人（陪診）等難點(diǎn)。為適應(yīng)這種不規(guī)范，云知聲針對(duì)真實(shí)醫(yī)患進(jìn)行場(chǎng)景化的識(shí)別模型訓(xùn)練，并采用分聲道拾音技術(shù)對(duì)醫(yī)患對(duì)話進(jìn)行識(shí)別，識(shí)別后“重新組合”醫(yī)患對(duì)話。

三是輸出內(nèi)容不受控。雖然大模型對(duì)醫(yī)患對(duì)話的理解和摘要是正確的，但患者表述涉及多個(gè)時(shí)間線，可能會(huì)有多次重復(fù)，甚至是前后矛盾，大模型需要判斷和選擇正確的內(nèi)容給予輸出；同時(shí)符合事實(shí)的正確摘要也不能直接輸出符合書寫規(guī)范的病歷，這一步的生成也是不受控的，大模型需要在理解輸入的基礎(chǔ)上，結(jié)合嚴(yán)格的病歷書寫規(guī)范進(jìn)行輸出。

基于對(duì)醫(yī)療場(chǎng)景的深刻理解和多年的技術(shù)、數(shù)據(jù)儲(chǔ)備，云知聲能夠快速挖掘醫(yī)療場(chǎng)景落地過(guò)程中的具體痛點(diǎn)并給出解決方案，這也是門診病歷生成系統(tǒng)得以迅速落地的重要原因。

門診病歷生成是整個(gè)病歷生成的一個(gè)環(huán)節(jié)，而不是全部；是一個(gè)開始，而不是結(jié)束。

面向未來(lái)，云知聲山海大模型將從醫(yī)患對(duì)話擴(kuò)展到醫(yī)生對(duì)話場(chǎng)景，從對(duì)話擴(kuò)展到獨(dú)白場(chǎng)景，從語(yǔ)音輸入擴(kuò)展到全模態(tài)全數(shù)據(jù)輸入，進(jìn)而覆蓋全部病歷文書撰寫場(chǎng)景，幫助醫(yī)生擺脫繁重的文書撰寫工作，減輕醫(yī)生壓力的同時(shí)，也讓醫(yī)生有更多的時(shí)間和精力去服務(wù)患者，全面提升患者就診體驗(yàn)。

大會(huì)期間，云知聲門診病歷生成系統(tǒng)、手術(shù)記錄撰寫助手等醫(yī)療產(chǎn)品應(yīng)用悉數(shù)亮相展會(huì)，充分展示了山海大模型落地智慧醫(yī)療領(lǐng)域的最新創(chuàng)新成果，讓與會(huì)者看到了生成式AI與醫(yī)療場(chǎng)景結(jié)合的更多可能。