背景：在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天，健康醫(yī)療領(lǐng)域正經(jīng)歷著深刻的變革。伴隨大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新興技術(shù)的廣泛應(yīng)用，醫(yī)療健康行業(yè)迎來了前所未有的發(fā)展機(jī)遇。大模型作為人工智能的重要組成部分，在人工智能領(lǐng)域中占據(jù)著關(guān)鍵地位，代表了當(dāng)前人工智能技術(shù)發(fā)展的一個(gè)重要方向。

近年來，醫(yī)療資源的供需矛盾日益凸顯，人們對(duì)于高效、精準(zhǔn)醫(yī)療服務(wù)的需求不斷增長(zhǎng)。同時(shí)，醫(yī)療數(shù)據(jù)的爆炸式增長(zhǎng)也為醫(yī)療大模型的發(fā)展提供了肥沃的土壤。在這樣的背景下，醫(yī)療大模型應(yīng)運(yùn)而生，它利用先進(jìn)的算法和大量的醫(yī)療數(shù)據(jù)，為醫(yī)生提供更準(zhǔn)確的診斷建議和治療方案，為患者帶來更好的醫(yī)療體驗(yàn)。而其中，混合專家系統(tǒng)在醫(yī)療大模型中展現(xiàn)出了獨(dú)特的優(yōu)勢(shì)。它結(jié)合了多種不同類型的專家知識(shí)和技術(shù)，能夠更加全面地分析醫(yī)療數(shù)據(jù)，提高診斷的準(zhǔn)確性和可靠性。混合專家系統(tǒng)可以整合醫(yī)學(xué)專家的經(jīng)驗(yàn)知識(shí)、先進(jìn)的數(shù)據(jù)分析技術(shù)以及人工智能算法，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，為醫(yī)療決策提供更強(qiáng)大的支持。

一、AT-MoE技術(shù)架構(gòu)

公司聯(lián)袂百位院士專家，依托自主研發(fā)的醫(yī)學(xué)垂類大模型“長(zhǎng)城健康”，創(chuàng)新應(yīng)用AT-MoE（Adaptive Task-planning Mixture of Experts，AT-MoE）自適應(yīng)任務(wù)規(guī)劃混合專家架構(gòu)技術(shù)，自主研發(fā)了上百項(xiàng)院士專家模型，通過APP全面應(yīng)用于基層醫(yī)生的實(shí)踐教育、居民健康管理等場(chǎng)景。

在不斷發(fā)展的人工智能領(lǐng)域，大型語言模型 (LLM) 已經(jīng)成為一股強(qiáng)大的力量。它們?cè)诟鞣N任務(wù)中都取得了顯著的進(jìn)步，在多個(gè)行業(yè)和領(lǐng)域中具有革命性的潛力，通過自動(dòng)化復(fù)雜任務(wù)并提供智能見解來實(shí)現(xiàn)。盡管取得了巨大的成功，現(xiàn)有的 LLM 在特定領(lǐng)域仍面臨重大挑戰(zhàn)。在預(yù)訓(xùn)練階段，LLMs通常缺乏專門的領(lǐng)域知識(shí)，尤其是在醫(yī)療領(lǐng)域。在預(yù)訓(xùn)練期間有限的醫(yī)學(xué)領(lǐng)域語料庫限制了它們處理與診斷、治療和醫(yī)學(xué)研究相關(guān)任務(wù)的能力。在醫(yī)療領(lǐng)域，數(shù)據(jù)的復(fù)雜性和多樣性構(gòu)成了診斷和治療的巨大挑戰(zhàn)。大量的醫(yī)療信息，包括病歷、科研論文和臨床指南，需要復(fù)雜的模型來準(zhǔn)確分析和解釋這些數(shù)據(jù)。傳統(tǒng)的方法往往無法應(yīng)對(duì)醫(yī)療數(shù)據(jù)的復(fù)雜性和變異性?；旌蠈＜遥∕oE）架構(gòu)為解決這些挑戰(zhàn)提供了一個(gè)有希望的解決方案。通過整合多個(gè)模型的專業(yè)知識(shí)，MoE 架構(gòu)比單個(gè)模型更有效地處理復(fù)雜的任務(wù)。目前，在大型模型領(lǐng)域主流的 MoE 架構(gòu)專注于在模型級(jí)別引入基于門控機(jī)制的稀疏激活 MoE 層，并替換 Transformer 層中的前饋組件。然而，在醫(yī)療等復(fù)雜場(chǎng)景中，特別是那些需要專業(yè)知識(shí)和可解釋性的領(lǐng)域，現(xiàn)有的MoE架構(gòu)仍然難以實(shí)現(xiàn)高質(zhì)量的融合學(xué)習(xí)效果。在典型的基于MoE架構(gòu)的Mixtral 8x7B模型技術(shù)報(bào)告中可以發(fā)現(xiàn)，所有領(lǐng)域的分配分布非常相似，這表明在該MoE架構(gòu)中尚未明確學(xué)習(xí)到特定領(lǐng)域的專家模式。

為了克服以上問題，大專家.COM提出了一種自適應(yīng)任務(wù)計(jì)劃混合專家（AT-MoE）的架構(gòu)。這種架構(gòu)旨在利用多個(gè)領(lǐng)域中的專業(yè)知識(shí)，并確保模型的可信度、可控性和可解釋性。首先，我們使用參數(shù)高效的微調(diào)技術(shù)（如LoRA），訓(xùn)練了若干任務(wù)專用的專家，使我們的子模型能夠在專門領(lǐng)域具有更好的問題解決能力和可解釋性。隨后，我們訓(xùn)練了一個(gè)創(chuàng)新的層內(nèi)自適應(yīng)分組路由模塊，允許根據(jù)復(fù)雜的任務(wù)指令進(jìn)行更有效的模塊融合，從而提供最佳的任務(wù)解決方案。具體地，我們提出了一種AT-MoE架構(gòu)，以解決傳統(tǒng)MoE方法在處理復(fù)雜任務(wù)時(shí)的局限性，特別是對(duì)于單個(gè)指令包含多個(gè)意圖的情景。AT-MoE架構(gòu)的核心在于其動(dòng)態(tài)權(quán)重分配機(jī)制。這種多模塊融合方法增強(qiáng)了系統(tǒng)應(yīng)對(duì)復(fù)雜和多樣挑戰(zhàn)的能力。傳統(tǒng)的MoE缺乏任務(wù)級(jí)別的專門訓(xùn)練，因此在整個(gè)模型架構(gòu)中沒有特定于任務(wù)的專家。知識(shí)的混合和冗余阻礙了專家的專業(yè)化程度。相比之下，AT-MoE最初對(duì)各種任務(wù)場(chǎng)景進(jìn)行了專家網(wǎng)絡(luò)的訓(xùn)練。每個(gè)專家模型都有一個(gè)明確的任務(wù)領(lǐng)域?qū)傩浴榱吮ＷC模型訓(xùn)練和推理的效率，我們采用了LoRA的微調(diào)方法來高效地訓(xùn)練每個(gè)專家子模型。對(duì)于復(fù)雜的任務(wù)場(chǎng)景，AT-MoE采用一種創(chuàng)新的自適應(yīng)分組路由方案。對(duì)于每一層我們訓(xùn)練不同的分組融合模塊。對(duì)于專家模型，在根據(jù)不同的任務(wù)類型分配權(quán)重后，應(yīng)首先對(duì)每個(gè)組內(nèi)的權(quán)重進(jìn)行分配。需要注意的是，每個(gè)組內(nèi)權(quán)重的分配也遵循一定的規(guī)范化分布。以醫(yī)療場(chǎng)景為例，分組可以分為三大類：1）第一類專家主要關(guān)注功能性問題，如病例生成、處方藥、分診和指導(dǎo)；2）第二類專家主要圍繞基于領(lǐng)域知識(shí)的問題。該組中的每個(gè)專家代表特定領(lǐng)域的專業(yè)技能，例如外科手術(shù)、放射學(xué)和病理學(xué)；3）第三類專家主要負(fù)責(zé)風(fēng)格類型。例如，一些專家僅提供明確結(jié)論，而其他專家則提供參考意見。通過以上自適應(yīng)分組路由策略，可以合理分配任務(wù)場(chǎng)景下的專家權(quán)重并從而提供最佳綜合答案。此外，AT-MoE使用所有任務(wù)的合并訓(xùn)練數(shù)據(jù)集來訓(xùn)練一個(gè)預(yù)合并的LoRA表示通用專家。通過動(dòng)態(tài)地將通用專家和任務(wù)分組融合專家的權(quán)重進(jìn)行融合，使得模型具有更強(qiáng)的泛化能力。在推理階段，還可以根據(jù)任務(wù)的需要，人工地對(duì)不同的LoRA模塊進(jìn)行MASK，模型會(huì)自動(dòng)地根據(jù)當(dāng)前的MASK狀態(tài)進(jìn)行實(shí)時(shí)地動(dòng)態(tài)權(quán)重重新分配，從而進(jìn)一步提升模型的可控性。

“院士專家大模型”通過應(yīng)用AT-MoE技術(shù)，破解了普通醫(yī)療大模型在應(yīng)對(duì)復(fù)雜醫(yī)療問題時(shí)所產(chǎn)生的“幻覺”問題，大幅提高回答的前后一致性及準(zhǔn)確度，化解了普通MoE混合專家系統(tǒng)在優(yōu)化算法和可解釋性上難以兼顧的困局，通過智能調(diào)度機(jī)制，實(shí)現(xiàn)不同領(lǐng)域?qū)＜夷Ｐ烷g的動(dòng)態(tài)協(xié)作，讓不同的院士專家解決不同患者的不同問題，最后組合給出精準(zhǔn)的解決方案，確保了模型在處理各種復(fù)雜醫(yī)療問題時(shí)的高效性和準(zhǔn)確性，從而實(shí)現(xiàn)了“精準(zhǔn)醫(yī)療”。

未來，大專家.COM將圍繞可信智能技術(shù)，強(qiáng)化運(yùn)用自主創(chuàng)新的AT-MoE技術(shù)，持續(xù)推進(jìn)“大模型+醫(yī)療健康”深度融合，全面賦能醫(yī)療健康行業(yè)數(shù)字化發(fā)展，推進(jìn)智慧醫(yī)療建設(shè)，更好服務(wù)于醫(yī)、服務(wù)于民，提升患者的就醫(yī)體驗(yàn)和人民群眾健康管理水平，助力提升人民群眾獲得感、幸福感、安全感。