近年來，行為研究的一個(gè)主要趨勢(shì)是采用多模式測(cè)量。在過去，觀察甚至計(jì)算機(jī)輔助視頻觀察可能足以回答研究問題，而今天的科學(xué)家需要獲得更深入的見解。多模式數(shù)據(jù)可以幫助解決這個(gè)問題。
案例研究顯示多模式數(shù)據(jù)收集的力量
觀察可以告訴你某人在做什么，但生理研究對(duì)心理狀態(tài)的洞察可以告訴你他們?yōu)槭裁催@樣做。例如，眼動(dòng)追蹤可以揭示被試者自己甚至沒有意識(shí)到的興趣模式，腦電圖可以深入了解詳細(xì)的大腦過程。
研究人員比過去更多地使用多模式方法的一個(gè)原因是像 The Observer XT 或新發(fā)布的一體化平臺(tái) NoldusHub 等現(xiàn)代解決方案可以更輕松地集成和同步不同的數(shù)據(jù)流并利用多模態(tài)研究。
這里有五個(gè)不同的研究示例，如果不結(jié)合不同的數(shù)據(jù)模式，這些研究是不可能的。
1. 發(fā)展心理學(xué)——通過視頻觀察以及 PPG 和溫度傳感器來調(diào)查社交焦慮。
社交焦慮是我們都經(jīng)歷過的事情。公開演講、工作面試和約會(huì)等所有情況都會(huì)讓我們感到焦慮并害怕別人會(huì)怎么看我們，有時(shí)還會(huì)伴隨著臉紅，感覺很熱。每個(gè)人都知道這一點(diǎn)，但直到阿姆斯特丹大學(xué)的心理學(xué)家最近進(jìn)行的一項(xiàng)研究 [1] 才知道臉紅在特殊情況下扮演什么角色。
社交焦慮癥（SAD）這種障礙的特點(diǎn)是對(duì)他人的負(fù)面評(píng)價(jià)產(chǎn)生持續(xù)的恐懼。它嚴(yán)重干擾社交場(chǎng)合，并可能產(chǎn)生各種負(fù)面的連鎖反應(yīng)。臉紅是社交焦慮癥的一種癥狀，但臉紅在其發(fā)展中起什么作用呢？
研究人員要求不同年齡的幼兒在他們面前唱一首歌。他們使用 The Observer XT 的音頻視頻記錄進(jìn)行系統(tǒng)觀察，并結(jié)合使用三種技術(shù)測(cè)量臉紅。使用光電體積描記法 (PPG) 測(cè)量血容量和血脈振幅。
這與運(yùn)動(dòng)手表中用于測(cè)量心率的技術(shù)相同，光線照射到皮膚上，然后處理反射信號(hào)（見圖1）。 使用鉑電極測(cè)量面頰溫度。PPG 和溫度傳感器都固定在孩子的一側(cè)臉頰上。
圖1
很明顯，對(duì)于這樣的研究，視頻觀察和使用傳感器測(cè)量特定變量（在本例中為臉紅）的組合具有相當(dāng)大的附加值。如果僅僅通過觀察來估計(jì)臉紅，那么它的準(zhǔn)確度就會(huì)大大降低，而且數(shù)據(jù)也會(huì)丟失。單憑觀察無法量化臉紅的程度；它只會(huì)顯示它的存在或不存在。這將大大限制分析的可能性。
臉紅和社交焦慮癥之間的確切關(guān)系是復(fù)雜的。然而，很明顯，兒童早期的自我意識(shí)情緒反應(yīng)（表現(xiàn)為臉紅）的發(fā)展可能對(duì)兒童晚期社交焦慮癥的發(fā)展產(chǎn)生重要影響。三種不同的臉紅測(cè)量方法表明了不同的方面。溫度顯示出與社交焦慮發(fā)展的明顯關(guān)系——可能是因?yàn)楹⒆觽兡芨杏X到他們的臉頰變熱，并對(duì)這種情況變得難為情。
2. 神經(jīng)科學(xué)——嚙齒類動(dòng)物的腦電波
腦電圖是一種將電極放置在顱骨表面的技術(shù)，它能夠獲取大腦中神經(jīng)元的電活動(dòng)。活動(dòng)以波形的形式上下波動(dòng)，波的振蕩速度與受試者的行為相關(guān)。
如果它是每秒 8-12 次（8-12 赫茲），那么這與放松行為有關(guān)。 這是第一個(gè)被發(fā)現(xiàn)的關(guān)聯(lián)，因此它們被稱為alpha波。Beta 波（16-31 Hz）表示活躍的思維（警覺性）和運(yùn)動(dòng)行為，theta（4-7 Hz）表示困倦和冥想，delta（小于 4 Hz）表示注意力高度集中和深度睡眠。伽馬波（如下圖所示）頻率非常高，為 30-100 赫茲，由神經(jīng)元群共同作用以實(shí)現(xiàn)某些認(rèn)知和運(yùn)動(dòng)功能引起。
腦電圖通常與特定位置相關(guān)聯(lián)，例如 alpha 波是在頭部的后部（后部）區(qū)域測(cè)量的。 還可以更詳細(xì)地查看 EEG 波形，例如睡眠階段之一稱為 REM 睡眠——快速眼動(dòng)。 眼睛的運(yùn)動(dòng)會(huì)導(dǎo)致來自大腦同樣特定區(qū)域的非常特定的波形形狀。 通過查看這些波形，不僅可以判斷 REM 睡眠是否正在進(jìn)行，還可以判斷在特定時(shí)刻哪只眼睛正在朝哪個(gè)方向移動(dòng) [2]。
腦電圖還可用于幫助了解大腦疾?。ㄈ绨柎暮Ｄ习Y和抑郁癥）中發(fā)生的情況。
人類和其他動(dòng)物（包括大鼠和小鼠）的腦電圖有很多相似之處。通常也存在峰值潛伏期等細(xì)微差異，但總體模式（例如，對(duì)各種藥物的反應(yīng)）非常相似 [3]。這意味著它經(jīng)常用于藥物發(fā)現(xiàn)。
智利的一組研究人員研究了大鼠腦電圖中的伽馬波 [4]。他們?cè)诜Q為伏隔核的大腦區(qū)域中觀察了這些。該區(qū)域是大腦獎(jiǎng)勵(lì)系統(tǒng)的一部分，與愉悅體驗(yàn)有關(guān)。多巴胺是該區(qū)域的重要神經(jīng)化學(xué)物質(zhì)。在那項(xiàng)研究中，科學(xué)家們將伏隔核的腦電圖測(cè)量與使用 EthoVision XT 進(jìn)行的行為測(cè)量相結(jié)合。
兩只老鼠被允許在一個(gè)對(duì)兩只動(dòng)物都是中性領(lǐng)土的開放區(qū)域相互交流。 當(dāng)老鼠彼此互動(dòng)時(shí)，有更多的伽馬波，表明獎(jiǎng)勵(lì)和快樂，而不是僅僅給它們一個(gè)新的互動(dòng)對(duì)象。這只能通過將 EthoVision XT 的行為數(shù)據(jù)與 EEG 數(shù)據(jù)相結(jié)合來衡量。在下面的插圖中，右下角的圖表顯示了當(dāng)老鼠彼此相互作用時(shí)，伽馬波明顯更強(qiáng)大。
他們還研究了當(dāng)兩只相互作用的大鼠中的一只受到壓力時(shí)，相互作用如何進(jìn)行。壓力是由被引入另一只老鼠的領(lǐng)地引起的。這導(dǎo)致緊張的對(duì)抗。野外的老鼠在日常生活中經(jīng)常會(huì)遇到這種壓力。數(shù)據(jù)顯示，壓力大的老鼠不再能夠從中性領(lǐng)土上的互動(dòng)中獲得盡可能多的樂趣，它的重要性在于，展示了一些關(guān)于它在老鼠大腦中究竟如何運(yùn)作的細(xì)節(jié)。
3. 教育心理學(xué)——在使用多種數(shù)據(jù)模式學(xué)習(xí)的同時(shí)研究參與度。
蒙特利爾魁北克大學(xué)的 NeuroLab 旨在使用多模式技術(shù)研究教育和學(xué)習(xí)的各個(gè)方面。他們使用一整套技術(shù)來研究正在處理在線學(xué)習(xí)問題的測(cè)試對(duì)象 [5]。
記錄與軟件的交互（鼠標(biāo)點(diǎn)擊和移動(dòng)），眼動(dòng)儀記錄注視和瞳孔直徑，使用 FaceReader 和皮膚電導(dǎo)率（EDA，也稱為皮膚電導(dǎo)率）測(cè)量情感參與度。這是基于你在興奮或緊張時(shí)出汗的原理。 此外還使用腦電圖。如上所述，β 波表示認(rèn)知警覺性。這與來自 alpha 和 theta 波段的信息相結(jié)合，給出了一個(gè)參與指數(shù)。所有這些數(shù)據(jù)流都使用 Noldus 的特殊設(shè)置組合在一起，如本次采訪中所述：
視頻
同步在這樣的設(shè)置中尤為重要，否則無法對(duì)數(shù)據(jù)進(jìn)行有意義的分析。
4. 行為生態(tài)學(xué)——研究被困獾的壓力
研究野外動(dòng)物的行為具有特殊的挑戰(zhàn)，使用多種類型的數(shù)據(jù)也可以提供幫助。在實(shí)驗(yàn)室外工作時(shí)，設(shè)備出現(xiàn)故障和數(shù)據(jù)丟失的情況更為常見，因此擁有多種類型的數(shù)據(jù)可以作為一種補(bǔ)償方式，并且仍然能夠獲得可發(fā)布的結(jié)果，即使并非所有數(shù)據(jù)都符合要求計(jì)劃。這就是一組瑞典科學(xué)家在他們的研究 [6] 中發(fā)現(xiàn)的，即被困在獾身上的壓力有多大。
即使陷阱的設(shè)計(jì)不會(huì)造成物理傷害，但由于獾對(duì)情況的感知方式，它仍然會(huì)給獾帶來壓力。 測(cè)量壓力水平的黃金標(biāo)準(zhǔn)是測(cè)量皮質(zhì)醇。皮質(zhì)醇是身體直接響應(yīng)壓力產(chǎn)生的一種激素。
研究人員為獾準(zhǔn)備了含有難消化的彩色小顆粒的食物。每只獾都有不同顏色的顆粒，所以當(dāng)研究人員收集它們的糞便時(shí)，他們可以測(cè)量皮質(zhì)醇并知道它來自哪只獾。但是，正如在實(shí)地考察中常見的那樣，事情并沒有按計(jì)劃進(jìn)行，他們收集的很多樣本中沒有任何顏色標(biāo)記，因此無法使用。
使用 The Observer XT 進(jìn)行實(shí)時(shí)和視頻記錄的觀察
然而，幸運(yùn)的是，他們植入了傳感器，使他們能夠測(cè)量心率和體溫，這也是壓力的指示。此外，他們還使用 The Observer 對(duì)獾的所有行為進(jìn)行了詳細(xì)的實(shí)時(shí)和視頻記錄觀察。這絕非易事，因?yàn)殁凳且剐袆?dòng)物，需要許多個(gè)夜晚的艱苦工作。
結(jié)果并不令人驚訝，被困住對(duì)動(dòng)物們來說確實(shí)壓力很大。他們一直在陷阱中，他們一直在努力逃脫。之后壓力影響繼續(xù)存在，當(dāng)他們回到家時(shí)，他們的社交互動(dòng)和梳理和抓撓等“舒適行為"都更少了。三天后，他們的社交禮儀仍然較少。他們被困的時(shí)間越長，壓力就越大。 此外，如果他們?cè)谝归g（他們的活躍期）被困，那比他們?cè)诎滋毂焕У膲毫Ω蟆?/span>
這項(xiàng)研究特別出色地表明，行為觀察、生理測(cè)量和荷爾蒙觀察的結(jié)合都有助于對(duì)實(shí)驗(yàn)的全面理解，并提供了僅靠觀察就可以做到的更深刻的見解。
5. 用戶體驗(yàn)和健康研究——使用多模式數(shù)據(jù)研究技術(shù)如何幫助癡呆癥患者
加拿大的兩個(gè)實(shí)驗(yàn)室合作開發(fā)了研究混合現(xiàn)實(shí) (MR) 技術(shù)（虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)）使用的方法 [7]。 這些實(shí)驗(yàn)室是位于加拿大多倫多的社會(huì)和技術(shù)系統(tǒng) (SaTS) 實(shí)驗(yàn)室以及癡呆癥老化技術(shù)和參與實(shí)驗(yàn)室 (DATE)。他們研究的特定應(yīng)用是這些技術(shù)如何支持癡呆癥患者。通常在開發(fā)技術(shù)時(shí)，可以讓用戶填寫問卷，反饋技術(shù)是否滿足他們的需求。然而，癡呆癥患者并不總是能夠做到這一點(diǎn)，因此需要使用觀察方法。
觀察的基礎(chǔ)是 The Observer XT，他們還使用眼動(dòng)追蹤眼鏡測(cè)量注視和瞳孔數(shù)據(jù)，使用 FaceReader 測(cè)量面部表情，還測(cè)量大腦神經(jīng)過程的腦電圖。此外，還創(chuàng)建了一個(gè)任務(wù)評(píng)估工具，以量化參與者在使用和不使用 MR 工具的情況下能夠在多大程度上執(zhí)行任務(wù)。 最后，使用 The Observer XT 將所有數(shù)據(jù)匯集、同步和集成。
研究 [7] 的結(jié)論是 MR 設(shè)備確實(shí)有用，而且由 The Observer XT 提供支持的多模式設(shè)置是研究參與者與技術(shù)交互的有用方法。如果要以滿足這些人需求的方式開發(fā)技術(shù)，那么讓技術(shù)的最終用戶參與開發(fā)新技術(shù)至關(guān)重要。對(duì)使用這些技術(shù)的人進(jìn)行良好的研究是確定這一點(diǎn)的最佳方法。
結(jié)論
來自許多不同模式的數(shù)據(jù)的使用正在真正成為主流，與單一模式相比的優(yōu)勢(shì)在于它揭示了更深刻的見解，而且如果一種模式失敗，數(shù)據(jù)中可能有足夠的冗余，仍然可以發(fā)表好的文章。 幾年前，處理多模式數(shù)據(jù)非常復(fù)雜，尤其是涉及到集成和同步時(shí)。 The Observer XT和NoldusHub 等現(xiàn)代技術(shù)使它變得越來越容易和實(shí)用。
參考文獻(xiàn)
[1] Milica Nikoli?, Mirjana Majdand?i?, Cristina Colonnesi, Wieke de Vente, Eline M?ller, and Susan B?gels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348.
[2]learningeeg./normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627.
[6] Schütz, K. E., ?gren, E., Amundin, M., R?ken, B., Palme, R., & M?rner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts.
關(guān)注諾達(dá)思公眾號(hào)，獲取更多產(chǎn)品信息及學(xué)術(shù)文章！
