近日，星網銳捷旗下福建星啓靈知智能科技有限公司聯合香港科技大學（廣州）陳晉泰教授領銜的ML4H（Machine Learning for Healthcare）團隊，在腦電人工智能與多模態智能分析領域取得最新研究進展。
雙方共同研發的腦電多模態人工智能方法EEGBind，入選ACM Multimedia 2026。作為國際計算機學會（ACM）主辦的計算機多媒體領域頂級國際學術會議，ACM MM 長期關注多媒體理解、多模態學習、人工智能等方向的前沿研究，同時也是中國計算機學會（CCF）推薦的計算機圖形學與多媒體領域 A 類國際學術會議。
此次研究聚焦腦電信號的區域特徵分析，通過構建以 EEG 為核心的多模態學習框架，探索 AI 如何從複雜腦電信號中提取更具區分度的空間與時序特徵，並提升模型在複雜信息環境下的穩定分析能力。
從一段腦電中提取更具來源判別能力的特徵
對於普通人來說，腦電信號可能只是複雜的「波浪線」；但對於人工智能而言，這些連續變化的波形中，包含着豐富的時間、空間與信號形態信息。
傳統的人工智能方法，可以幫助判斷一段腦電中有沒有這類異常活動。
但本次研究希望讓AI從複雜的波形變化中，判斷這些信號更接近哪些腦電來源區域特徵。
研究將腦電信號按照不同來源區域特徵進行分類，包括全腦廣泛型、額區、顳區、枕區以及中央-頂區。這意味着，模型不僅需要「看見」腦電信號，還需要從短時、複雜且具有個體差異的 EEG 數據中，提取能夠反映空間分佈與信號形態差異的關鍵特徵。
圖｜五類腦電源區典型案例
腦電與輔助信息融合，以多模型共同完成AI判斷
在傳統採集過程中，腦電信號往往與同步視頻一同採集，以同步視頻記錄的患者動作、姿態以及當時狀態等信息，為腦電判斷異常活動的來源提供背景信息。
研究團隊希望讓AI判斷腦電與視頻的結合信息。團隊構建了 EEG-centric multimodal binding 框架，將 EEG 作為主要信息來源，同時引入與腦電同步的視頻信息作為輔助上下文。模型首先從 EEG 中提取核心表徵，再將同步視頻信息作為輔助證據進行多模態綁定，最終完成五類 IED 來源區域的分類。整個系統主要包含三個環節：腦電與輔助信息融合 → 信息受到干擾時進行修復 → 多個模型共同完成判斷。
◇ 圖｜EEGBind整體方法框架讓AI在信息不完整的時候依然保持可靠
當「輔助信息」不完整，如果 AI 太依賴視頻，就可能影響最終判斷。所以，EEGBind又加入了 View-Consistent Repair（視圖一致性修復）。研究過程中，團隊會主動對部分視頻信息進行丟棄或遮蔽，讓模型學習在輔助信息發生變化時，仍然儘可能保持穩定的腦電錶徵和分類結果，讓 AI 在信息不完整的時候依然保持可靠。
持續提升AI的準確性
研究團隊使用 Weighted-F1 作為主要評價指標，對不同方法進行了比較。
從最初僅使用 EEG 的0.6444，到引入 EEG-centric 多模態綁定後的 0.8019，經過視圖一致性修復等機制進一步提升至 0.8282，最終，五折模型在 NeuroMM 2026 Grand Challenge Track 3（NMM-Source-IED）官方評測中取得 0.8395 Weighted-F1，在該賽道所有參評方法中排名第一。
該任務並不是簡單判斷「有沒有異常腦電」，而是針對已經確認含有 IED 的腦電候選片段，進一步判斷其屬於全腦、額區、顳區、枕區或中央-頂區五類源區中的哪一類。
從「看見信號」，到「理解信號」
近年來，人工智能正在從針對單一任務訓練的專用模型，逐步走向能夠處理更加複雜信息的基礎模型（Foundation Model）和多模態大模型。
對腦電而言，真正有價值的並不只是讓模型「讀懂一條波形」，而是讓 AI 能夠同時理解時間變化、空間分佈、生理信號以及不同模態之間的關聯。
EEGBind的探索正是在這一方向上的一次嘗試：以 EEG 作為核心信息，通過多模態綁定引入同步視頻等輔助信息，讓模型從不同信息之間建立關聯，什麼信息應該作為核心，什麼信息適合輔助，以及當信息不完整時，AI還能不能保持穩定。
這也是 EEGBind 希望解決的核心問題。
圖｜EEGBind學習到的五類腦電源區表徵空間
論文鏈接：https://arxiv.org/pdf/2609.09728v1
此次研究，是星啓靈知在腦電人工智能與多模態智能分析方向的一次技術積累。作為一家面向情緒心理健康和睡眠健康的人工智能公司，星啓靈知持續關注腦電、生理信號與人工智能技術的融合，探索如何讓複雜的生理信號被更好地採集、分析和理解。
未來，星網銳捷將繼續深耕核心領域自主創新的同時，加強與高校及科研團隊的聯合創新，推動AI技術在更多領域進一步探索，將AI能力向更多產業場景輻射，以AI感知與理解之力，助力數字經濟發展。