由於一種結合了大腦信號和圖像信息的新方法，了解人們如何準確地在復雜任務中做出決策變得更加清晰。這項創新研究最近發表在《科學報告》雜誌上。這項研究是由Chin-Still Lin教授，Nikhil Paul教授，Tzyy-Ping Jung教授和Thomas博士在Chin-Still Lin教授的同事下的博士生Juan-Tran進行的研究。
研究人員創建了一個使用機械學習的框架，該框架是一種從數據中學習模型，共同分析大腦活動和圖像細節的人工智能，從而可以預測一個人是否會對具有挑戰性的任務做出正確的響應。該方法使用所有內容的模型（SAM）識別和隔離圖像中的對象。它從目標對象的特徵以及目標對象與相鄰對象的關係中得出特徵，以提高預測的準確性。使用腦電圖（EEG）收集腦信號，這是一種非侵入性技術。然後，從腦電圖數據中提取的功能由圖像特徵連接在一起，以進一步提高預測的準確性。林教授解釋說：“這一進步強調了大腦信息和圖像的結合如何改善我們對人們如何做出決策的理解。”
在研究中，要求參與者在攝影中找到動物。這些動物被偽裝成使任務更加困難，模擬了類似於現實世界情況的挑戰。 “與其他參與者可以準確思考的研究不同，這種配置使它變得更加困難，從而更好地測試了人們的思維方式和決定。”托馬斯·杜（Thomas Do）解釋說。研究人員記錄了使用腦電圖測量的大腦的電活動，該活動通過腦電圖測量，該活動通過位於頭部頭部的傳感器捕獲大腦信號，並將其與圖片的特徵一起分析，以查看兩者如何影響決策做出。
結果表明，大腦和圖像數據的組合效果要比唯一的用途要好得多。主要作者Xuan-Trans說：“與僅依靠一種類型數據的模型相比，經過測試時，這種組合方法在預測準確決策方面的準確性明顯更高。”這強調了混合眾多信息來源以更好地了解人類行為的優勢。
尼克希爾·保羅（Nikhil Paul）補充說：“這項研究不僅有助於預測決策的準確性，而且還提供了一個框架，用於設計可以在發生之前警告用戶出現錯誤的系統。這種系統在諸如衛生保健或保護等關鍵領域至關重要，在諸如衛生保健或保護之類的地方可以避免犯錯誤。”
這一成功的關鍵要素是圖像特徵的深度使用。提取的特徵確定了圖片中對象之間的關係，並與EEG神經特徵平滑地集成在一起。 Tzyy-ping jung補充說：“來自眾所周知地區的大腦信號被包括在設施和決策的檢測中，例如枕葉和頂壁區域，這些區域負責處理感官信息和決策在模型績效中起著重要作用。”該團隊透露，培訓他們的模型從單個參與者的數據效果遠勝於他在數據結合的數據培訓中，表明製定的決定如何因人而異。
通過將大腦活動和復雜圖像分析的詳細分析結合在一起，這項研究為開發可以預測人們執行真實時間任務的系統提供了令人興奮的機會。該團隊計劃使用更多數據擴展研究並完善其模型，從而使其在日常應用中更加實用。
日記
Trans XT，Will T.，Pal No，Jung TP，Lin CT“用於預測人類決策績效的多模式融合”。科學報告，2024。 Doi：
關於
Lin-heng-heng 1986年，傑出教授Chin-Still Lin獲得了台灣國立大學（NCTU）的理學學士學位，並分別獲得了1989年和1992年獲得美國普渡大學的電氣工程學碩士學位和博士學位。
他目前是計算機科學學校的著名教授，也是澳大利亞西德尼大學信息和信息技術學院澳大利亞人工智能學院（AAII）的人類中心中心AI（HAI）的主任。他還是NCTU電氣和計算機工程學的名譽董事長。由於他為生物學啟發的信息系統做出了貢獻，林教授於2005年與IEEE授予了一家公司，並於2012年與國際模糊系統協會（IFSA）合作。他於2017年獲得了IEEE Fuzzy Systems先驅獎。 IEEE Society Intelligence（2008-2010）; IEEE TAIPEI部門主席（2009-2010）； IEEE CIS獎委員會主席（2022，2023）； IEEE CAS Society（2003-2005）和CIS Society（2015-2017）的著名講師； IEEE CIS講師講師計劃委員會主席（2018-2019）； IEEE交易的總編輯在電路和系統II中（2006-2008）； IEE系統，MAN和Cybernetics國際國際會議計劃（2005年）；以及IEEE 2011國際模糊系統國際會議總裁。
Lin教授是模糊神經系統的共同作者，也是模糊控制神經系統的作者，具有參數的結構和教學。他的948篇出版物包括3本書； 28章章節； 485日記報紙；和432封會議信提到，其中包括在神經網絡，模糊系統，大腦計算機接口，多媒體信息處理，神經工程工程和人類汽車聯盟的神經網絡，大腦計算機接口，多媒體計算機接口，大約232張IEE期刊報紙上的432封。目前，他的H索引是96，他的i10指數為464。
Nikhil r。司機 他是電子科學和通信部門的教授，並且是人工智能中心的創始負責人以及印度統計研究所的教學。他目前的研究興趣包括腦科學，計算器智能，機械學習和數據庫。
He was the editor-in-chief of IEEE transactions in Fuzzy systems for the period January 2005-December 2010. He served/was serving on the editorial board/counseling/governing committees of several magazines, including the International Reasoning Gazette, Applied Soft Applications, International Journal of Neural Systems, Fuzzy Systems, and Systems, Fuzzy Systems Systems, 模糊系統中的IEEE交易 和 IEEE交易在控制論中。
他是先鋒社會社會社會社會模糊模糊的模糊模糊系統和2021 IEEE CIS。他在各種國際會議上發表了許多全體/主要演講，這是計算情報領域的總理。他曾擔任總統，該計劃的總統和幾個會議計劃主席。他是IEEE CIS（2010-2012，2016-2018，2022-2024）的傑出講師，並且是IEEE CIS行政委員會（2010-2012）的成員。他曾擔任IEEE CIS（2013-2016）的副總裁和IEEE CIS（2018-2019）的總裁。
他是西孟加拉科學與技術學院的成員，美國國家科學學院電子傳播工程師和電視研究所，國家印度工程學院，印度國家科學院國家科學院，國際系統模糊系統（IFSA），世界科學院和美國IEEE的朋友。
tzyy-ping Jung （SA91-M’92-SM’06-F’15）1984年，台灣HSNCU國立大學的電子工程中獲得了電子工程的BS等級，並於1984年獲得MS和Ph.D。分別獲得俄亥俄州立大學的電氣工程學位，分別是俄亥俄州哥倫布，美國，1989年和1993年。他目前是高級神經工程中心的合作導演，也是加州大學聖地亞哥分校的Swartz計算機神經科學中心副主任。此外，他是加州大學聖地亞哥分校生物動力部門的助理教授。 Jung博士提出了國際學術貢獻，使天津大學和中國科學技術大學的輔助教授以及台灣國立大學和台灣的Yang Ming Chiao Tung國立大學的輔助教授。
Jung Pionier博士轉換技術用於應用盲源分離以分解多通道EEG，MEG，ERP和FMRI數據。在認可他對生物醫學應用程序盲目來源的貢獻時，他於2015年在IEEE研究員中成立。他還是亞洲 – 學生人工智能協會（AAIA）的成員。研究博士Jung強調了認知科學，計算機科學和工程，神經科學，生物設計和電氣工程的整合。他的跨學科工作受到了高度重視，並被同齡人引用，有47,000個報價和一張 在一個地方– 根據Google Scholar的說法，92的索引。
托馬斯做 他是悉尼技術大學（UTS）人類互動中心（HAI）的高級講師兼聯合主任。憑藉UTS的計算機科學博士學位，是科學技術研究所的人力計算機碩士學位。
它的研究重點是人工智能（AI），腦部計算機（BCI）界面，人類計算機和機器人技術的整合，特別強調將BCI技術用於輔助應用。 DR的願景是通過開發將大腦信號轉化為操作結果的高級強大系統，超越現實世界中神經工程和實際應用之間的差距。
