3月11日，由中國科學(xué)院自動化研究所和中國科學(xué)院香港創(chuàng)新院人工智能與機(jī)器人創(chuàng)新中心聯(lián)合研發(fā)的醫(yī)療垂直領(lǐng)域的AI多模態(tài)大模型——CARES Copilot 1.0在香港科學(xué)園正式發(fā)布，現(xiàn)已面向香港神經(jīng)外科醫(yī)生開放使用。

中國科學(xué)院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心執(zhí)行主任、中國科學(xué)院自動化研究所研究員劉宏斌介紹，CARES Copilot 1.0實(shí)現(xiàn)了對圖像、文本、語音、視頻、MRI、CT、超聲等多模態(tài)手術(shù)數(shù)據(jù)的深入理解，能夠準(zhǔn)確識別和解析如動作、影像和生命體征等多種醫(yī)療信息。CARES Copilot 1.0結(jié)合了大模型的廣泛知識和小模型的專業(yè)精準(zhǔn)，可以進(jìn)行高級的圖像和視頻語義提取，同時(shí)利用語言模型進(jìn)行深層次理解，在醫(yī)學(xué)多場景多任務(wù)的理解與處理方面取得了顯著進(jìn)展，可支持手術(shù)階段識別、器械與解剖結(jié)構(gòu)分割、器械檢測與計(jì)數(shù)、MRI高分辨率圖像生成等一系列功能。在實(shí)際應(yīng)用中，CARES Copilot 1.0不僅可為臨床醫(yī)生提供手術(shù)階段的詳細(xì)分析報(bào)告，還能進(jìn)行手術(shù)風(fēng)險(xiǎn)與質(zhì)量評估，從而提高醫(yī)療服務(wù)水平。

此外，CARES Copilot 1.0擁有長達(dá)100K上下文窗口的理解與高效分析能力，能夠處理超過3000頁的復(fù)雜手術(shù)教材，對于年輕醫(yī)生的培訓(xùn)和教學(xué)具有極高的實(shí)用性。通過深度檢索功能，Copilot 1.0能夠快速精確地提取手術(shù)教材、專家指南、醫(yī)學(xué)論文等專業(yè)文檔信息，確保所提供答案的高度可信度和可追溯性。經(jīng)過測試，該大模型能在一兩秒內(nèi)快速檢索百萬級數(shù)據(jù)，準(zhǔn)確率高達(dá)95%。

香港中文大學(xué)外科學(xué)系神經(jīng)外科組主任、名譽(yù)臨床副教授陳達(dá)明醫(yī)生，北京協(xié)和醫(yī)院神經(jīng)外科主任醫(yī)師馮銘教授，首都醫(yī)科大學(xué)附屬北京同仁醫(yī)院神經(jīng)外科主任康軍教授出席發(fā)布會。會上，陳達(dá)明醫(yī)生與馮銘教授共同現(xiàn)場演示了CARES Copilot 1.0，全面展示了其功能和實(shí)際應(yīng)用價(jià)值。

目前，CARES Copilot 1.0已在多家醫(yī)院的不同科室進(jìn)行了實(shí)地測試和優(yōu)化，充分驗(yàn)證了其作為手術(shù)智能輔助工具全面、先進(jìn)、可靠的基礎(chǔ)功能和關(guān)鍵技術(shù)，下一步將持續(xù)推動醫(yī)療智能化的實(shí)現(xiàn)，為智能健康產(chǎn)業(yè)的進(jìn)步提供強(qiáng)有力的技術(shù)支持。

中國科學(xué)院香港創(chuàng)新研究院是中國科學(xué)院在港設(shè)立的首個國家級新型研發(fā)機(jī)構(gòu)。2019年在港正式注冊，下設(shè)兩個創(chuàng)新中心。其中，人工智能與機(jī)器人創(chuàng)新中心依托中國科學(xué)院自動化研究所建設(shè)，圍繞新一代人工智能基礎(chǔ)理論、面向健康的智能技術(shù)、新型人機(jī)交互技術(shù)與設(shè)備、人工智能開放平臺技術(shù)等開展國際前沿研究工作。

圖1. 劉宏斌研究員介紹CARES Copilot 1.0

圖2. CARES Copilot 1.0系統(tǒng)界面

圖3. CARES Copilot 1.0在醫(yī)院實(shí)地應(yīng)用

圖4. 馮銘教授、康軍教授、劉宏斌研究員及陳達(dá)明醫(yī)生（從左至右）合影