背景：在數(shù)字經(jīng)濟蓬勃發(fā)展的今天，健康醫(yī)療領(lǐng)域正經(jīng)歷著深刻的變革。伴隨大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新興技術(shù)的廣泛應(yīng)用，醫(yī)療健康行業(yè)迎來了前所未有的發(fā)展機遇。大模型作為人工智能的重要組成部分，在人工智能領(lǐng)域中占據(jù)著關(guān)鍵地位，代表了當(dāng)前人工智能技術(shù)發(fā)展的一個重要方向。

近年來，醫(yī)療資源的供需矛盾日益凸顯，人們對于高效、精準醫(yī)療服務(wù)的需求不斷增長。同時，醫(yī)療數(shù)據(jù)的爆炸式增長也為醫(yī)療大模型的發(fā)展提供了肥沃的土壤。在這樣的背景下，醫(yī)療大模型應(yīng)運而生，它利用先進的算法和大量的醫(yī)療數(shù)據(jù)，為醫(yī)生提供更準確的診斷建議和治療方案，為患者帶來更好的醫(yī)療體驗。而其中，混合專家系統(tǒng)在醫(yī)療大模型中展現(xiàn)出了獨特的優(yōu)勢。它結(jié)合了多種不同類型的專家知識和技術(shù)，能夠更加全面地分析醫(yī)療數(shù)據(jù)，提高診斷的準確性和可靠性?；旌蠈＜蚁到y(tǒng)可以整合醫(yī)學(xué)專家的經(jīng)驗知識、先進的數(shù)據(jù)分析技術(shù)以及人工智能算法，實現(xiàn)優(yōu)勢互補，為醫(yī)療決策提供更強大的支持。

一、AT-MoE技術(shù)架構(gòu)

公司聯(lián)袂百位院士專家，依托自主研發(fā)的醫(yī)學(xué)垂類大模型“長城健康”，創(chuàng)新應(yīng)用AT-MoE（Adaptive Task-planning Mixture of Experts，AT-MoE）自適應(yīng)任務(wù)規(guī)劃混合專家架構(gòu)技術(shù)，自主研發(fā)了上百項院士專家模型，通過APP全面應(yīng)用于基層醫(yī)生的實踐教育、居民健康管理等場景。

在不斷發(fā)展的人工智能領(lǐng)域，大型語言模型 (LLM) 已經(jīng)成為一股強大的力量。它們在各種任務(wù)中都取得了顯著的進步，在多個行業(yè)和領(lǐng)域中具有革命性的潛力，通過自動化復(fù)雜任務(wù)并提供智能見解來實現(xiàn)。盡管取得了巨大的成功，現(xiàn)有的 LLM 在特定領(lǐng)域仍面臨重大挑戰(zhàn)。在預(yù)訓(xùn)練階段，LLMs通常缺乏專門的領(lǐng)域知識，尤其是在醫(yī)療領(lǐng)域。在預(yù)訓(xùn)練期間有限的醫(yī)學(xué)領(lǐng)域語料庫限制了它們處理與診斷、治療和醫(yī)學(xué)研究相關(guān)任務(wù)的能力。在醫(yī)療領(lǐng)域，數(shù)據(jù)的復(fù)雜性和多樣性構(gòu)成了診斷和治療的巨大挑戰(zhàn)。大量的醫(yī)療信息，包括病歷、科研論文和臨床指南，需要復(fù)雜的模型來準確分析和解釋這些數(shù)據(jù)。傳統(tǒng)的方法往往無法應(yīng)對醫(yī)療數(shù)據(jù)的復(fù)雜性和變異性?；旌蠈＜遥∕oE）架構(gòu)為解決這些挑戰(zhàn)提供了一個有希望的解決方案。通過整合多個模型的專業(yè)知識，MoE 架構(gòu)比單個模型更有效地處理復(fù)雜的任務(wù)。目前，在大型模型領(lǐng)域主流的 MoE 架構(gòu)專注于在模型級別引入基于門控機制的稀疏激活 MoE 層，并替換 Transformer 層中的前饋組件。然而，在醫(yī)療等復(fù)雜場景中，特別是那些需要專業(yè)知識和可解釋性的領(lǐng)域，現(xiàn)有的MoE架構(gòu)仍然難以實現(xiàn)高質(zhì)量的融合學(xué)習(xí)效果。在典型的基于MoE架構(gòu)的Mixtral 8x7B模型技術(shù)報告中可以發(fā)現(xiàn)，所有領(lǐng)域的分配分布非常相似，這表明在該MoE架構(gòu)中尚未明確學(xué)習(xí)到特定領(lǐng)域的專家模式。

為了克服以上問題，大專家.COM提出了一種自適應(yīng)任務(wù)計劃混合專家（AT-MoE）的架構(gòu)。這種架構(gòu)旨在利用多個領(lǐng)域中的專業(yè)知識，并確保模型的可信度、可控性和可解釋性。首先，我們使用參數(shù)高效的微調(diào)技術(shù)（如LoRA），訓(xùn)練了若干任務(wù)專用的專家，使我們的子模型能夠在專門領(lǐng)域具有更好的問題解決能力和可解釋性。隨后，我們訓(xùn)練了一個創(chuàng)新的層內(nèi)自適應(yīng)分組路由模塊，允許根據(jù)復(fù)雜的任務(wù)指令進行更有效的模塊融合，從而提供最佳的任務(wù)解決方案。具體地，我們提出了一種AT-MoE架構(gòu)，以解決傳統(tǒng)MoE方法在處理復(fù)雜任務(wù)時的局限性，特別是對于單個指令包含多個意圖的情景。AT-MoE架構(gòu)的核心在于其動態(tài)權(quán)重分配機制。這種多模塊融合方法增強了系統(tǒng)應(yīng)對復(fù)雜和多樣挑戰(zhàn)的能力。傳統(tǒng)的MoE缺乏任務(wù)級別的專門訓(xùn)練，因此在整個模型架構(gòu)中沒有特定于任務(wù)的專家。知識的混合和冗余阻礙了專家的專業(yè)化程度。相比之下，AT-MoE最初對各種任務(wù)場景進行了專家網(wǎng)絡(luò)的訓(xùn)練。每個專家模型都有一個明確的任務(wù)領(lǐng)域?qū)傩?。為了保證模型訓(xùn)練和推理的效率，我們采用了LoRA的微調(diào)方法來高效地訓(xùn)練每個專家子模型。對于復(fù)雜的任務(wù)場景，AT-MoE采用一種創(chuàng)新的自適應(yīng)分組路由方案。對于每一層我們訓(xùn)練不同的分組融合模塊。對于專家模型，在根據(jù)不同的任務(wù)類型分配權(quán)重后，應(yīng)首先對每個組內(nèi)的權(quán)重進行分配。需要注意的是，每個組內(nèi)權(quán)重的分配也遵循一定的規(guī)范化分布。以醫(yī)療場景為例，分組可以分為三大類：1）第一類專家主要關(guān)注功能性問題，如病例生成、處方藥、分診和指導(dǎo)；2）第二類專家主要圍繞基于領(lǐng)域知識的問題。該組中的每個專家代表特定領(lǐng)域的專業(yè)技能，例如外科手術(shù)、放射學(xué)和病理學(xué)；3）第三類專家主要負責(zé)風(fēng)格類型。例如，一些專家僅提供明確結(jié)論，而其他專家則提供參考意見。通過以上自適應(yīng)分組路由策略，可以合理分配任務(wù)場景下的專家權(quán)重并從而提供最佳綜合答案。此外，AT-MoE使用所有任務(wù)的合并訓(xùn)練數(shù)據(jù)集來訓(xùn)練一個預(yù)合并的LoRA表示通用專家。通過動態(tài)地將通用專家和任務(wù)分組融合專家的權(quán)重進行融合，使得模型具有更強的泛化能力。在推理階段，還可以根據(jù)任務(wù)的需要，人工地對不同的LoRA模塊進行MASK，模型會自動地根據(jù)當(dāng)前的MASK狀態(tài)進行實時地動態(tài)權(quán)重重新分配，從而進一步提升模型的可控性。

“院士專家大模型”通過應(yīng)用AT-MoE技術(shù)，破解了普通醫(yī)療大模型在應(yīng)對復(fù)雜醫(yī)療問題時所產(chǎn)生的“幻覺”問題，大幅提高回答的前后一致性及準確度，化解了普通MoE混合專家系統(tǒng)在優(yōu)化算法和可解釋性上難以兼顧的困局，通過智能調(diào)度機制，實現(xiàn)不同領(lǐng)域?qū)＜夷Ｐ烷g的動態(tài)協(xié)作，讓不同的院士專家解決不同患者的不同問題，最后組合給出精準的解決方案，確保了模型在處理各種復(fù)雜醫(yī)療問題時的高效性和準確性，從而實現(xiàn)了“精準醫(yī)療”。

未來，大專家.COM將圍繞可信智能技術(shù)，強化運用自主創(chuàng)新的AT-MoE技術(shù)，持續(xù)推進“大模型+醫(yī)療健康”深度融合，全面賦能醫(yī)療健康行業(yè)數(shù)字化發(fā)展，推進智慧醫(yī)療建設(shè)，更好服務(wù)于醫(yī)、服務(wù)于民，提升患者的就醫(yī)體驗和人民群眾健康管理水平，助力提升人民群眾獲得感、幸福感、安全感。