中國科學(xué)院自動化研究所蒿杰研究組與中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心杜久林研究組、穆宇研究組合作研究開發(fā)了一套實感智能計算-控制平臺，可快速提取和分析斑馬魚全腦神經(jīng)元活動，實現(xiàn)神經(jīng)元集群活動的閉環(huán)調(diào)控。3月11日，相關(guān)研究論文以Real-time analysis of large-scale neuronal imaging enables closed-loop investigation of neural dynamics為題，在線發(fā)表于《自然·神經(jīng)科學(xué)》（Nature Neuroscience）。?

該研究借助天文學(xué)領(lǐng)域的數(shù)據(jù)處理技術(shù)，采用FPGA-GPU混合架構(gòu)，成功對高達(dá)500MB/s的大數(shù)據(jù)流神經(jīng)功能數(shù)據(jù)進(jìn)行實時配準(zhǔn)、信號提取和分析。通過這一技術(shù)突破，研究團(tuán)隊首次實現(xiàn)了對斑馬魚全腦十萬級神經(jīng)元的實時監(jiān)控，進(jìn)而對任意選擇的神經(jīng)元集群活動進(jìn)行解碼，以控制外部設(shè)備。這一成果標(biāo)志著基于全腦單細(xì)胞光學(xué)成像的虛擬現(xiàn)實、光遺傳調(diào)控等技術(shù)在腦科學(xué)閉環(huán)研究領(lǐng)域的應(yīng)用邁出了關(guān)鍵一步。?

全腦范圍單神經(jīng)元活動成像是解析大腦并行分布式計算原理的有力工具，但其巨大的數(shù)據(jù)實時處理需求成為了技術(shù)發(fā)展的瓶頸，導(dǎo)致難以實時分析以及在大尺度上閉環(huán)調(diào)控和研究腦功能。啟發(fā)于天文學(xué)領(lǐng)域中快速射電暴檢測技術(shù)，研究人員借鑒其系統(tǒng)設(shè)計策略，利用FPGA編程的靈活性建立光學(xué)神經(jīng)信號預(yù)處理系統(tǒng)，對來自光學(xué)傳感器的信號規(guī)整化，并將其發(fā)送給基于GPU的實時處理系統(tǒng)，進(jìn)行高速非線性配準(zhǔn)，提取各信道的神經(jīng)信號，依據(jù)編碼規(guī)則進(jìn)行解碼，以獲得用于控制外部器件的反饋信號。該系統(tǒng)通過實時監(jiān)測斑馬魚全腦神經(jīng)元的活動，生成反饋信號，反饋間隔小于70.5毫秒。

圖1.?實感智能計算-控制平臺架構(gòu)及利用該系統(tǒng)實施的光學(xué)腦機(jī)接口技術(shù)，通過大腦內(nèi)部神經(jīng)元集群的活動實現(xiàn)虛擬現(xiàn)實控制。

系統(tǒng)性能在三個腦科學(xué)閉環(huán)研究場景下得到展示：與任意特定神經(jīng)元集群活動鎖相的實時光遺傳學(xué)刺激，與特定大腦功能狀態(tài)鎖相的實時視覺刺激，以及基于神經(jīng)元集群活動的虛擬現(xiàn)實控制。?

閉環(huán)實時光遺傳學(xué)神經(jīng)調(diào)控：通過功能聚類識別全腦神經(jīng)元集群，將選定集群的自發(fā)活動作為觸發(fā)信號，實施實時光遺傳學(xué)刺激于目標(biāo)神經(jīng)元集群。相對于開環(huán)，閉環(huán)刺激有效激活了下游腦區(qū)。?

鎖相的實時視覺刺激實驗：通過對藍(lán)斑去甲腎上腺素能系統(tǒng)活動的實時監(jiān)測，在表征動物清醒狀態(tài)的藍(lán)斑興奮時相上施加視覺刺激，觀察到大腦中其他神經(jīng)元的反應(yīng)更為強(qiáng)烈。這表明，大腦狀態(tài)可調(diào)節(jié)對視覺信息的處理，同時指出閉環(huán)感覺刺激有助于精確研究大腦內(nèi)部狀態(tài)與外界環(huán)境的相互作用。?

全腦光學(xué)腦機(jī)接口實現(xiàn)的虛擬現(xiàn)實：實時將高維的全腦所有神經(jīng)元活動降維到多個神經(jīng)元集群的活動，并將任一集群的活動與視覺環(huán)境閉環(huán)聯(lián)接，建立了基于光學(xué)成像、直接從腦神經(jīng)活動到視覺環(huán)境的虛擬現(xiàn)實系統(tǒng)。在該虛擬現(xiàn)實中，可以隨意調(diào)整神經(jīng)活動與環(huán)境耦合的增益，使控制環(huán)境的神經(jīng)元集群根據(jù)增益變化適應(yīng)性地調(diào)整其輸出。依托大數(shù)據(jù)流的實時分析和高通量全腦成像技術(shù)，未來研究將篩選適合光學(xué)腦機(jī)接口的神經(jīng)群體活動特征，揭示其機(jī)制，并開發(fā)出更高效的光學(xué)腦機(jī)接口技術(shù)。?

中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心杜久林研究員、中國科學(xué)院自動化研究所蒿杰研究員、中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心穆宇研究員為共同通訊作者；暨南大學(xué)/深圳市神經(jīng)科學(xué)研究院尚春峰研究員（原中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心副研究員）、中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心汪玙璠博士、中國科學(xué)院自動化研究所趙美婷助理研究員為共同第一作者；中國科學(xué)院自動化研究所范秋香助理研究員，中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心趙姍博士生、錢禹工程師和徐圣進(jìn)研究員做出了重要貢獻(xiàn)。該工作得到科技部、基金委、中國科學(xué)院、上海市和深圳市的資助。研究成果已授權(quán)發(fā)明專利“光學(xué)腦機(jī)接口系統(tǒng)和方法”（專利號：ZL20231 0131178.9）。

圖2.?團(tuán)隊提供概念圖：借鑒天文數(shù)據(jù)處理體系搭建的實時處理系統(tǒng)提取和解析了斑馬魚全腦的神經(jīng)元活動，上圖展現(xiàn)這一創(chuàng)新系統(tǒng)如何巧妙地將內(nèi)在世界的神經(jīng)活動與外部現(xiàn)實世界連接起來的迷人之處。

　論文鏈接：https://www.nature.com/articles/s41593-024-01595-6