實(shí)驗(yàn)室可用于進(jìn)行基于多模態(tài)人因數(shù)據(jù)進(jìn)行人工智能模型訓(xùn)練，并進(jìn)一步進(jìn)行人工智能科學(xué)研究或工程應(yīng)用。實(shí)驗(yàn)室主要分為被試間與主試間兩大功能區(qū)域，之間由單向玻璃隔開，使主試間中的研究人員看見被試間內(nèi)受試者的行為，而受試者看不見主試間，從而減小干擾。其中，被試間為實(shí)驗(yàn)進(jìn)行的區(qū)域，可依照測試需求布置人因智能研究所需的多模態(tài)數(shù)據(jù)采集設(shè)備，如眼動儀、生理儀、手指軌跡分析儀、腦電儀等；被試間中有多個(gè)行為觀察攝像頭與拾音器，從不同角度攝取受試者的行為影像并采集受試者的聲音，音視頻信號傳送給主試間中的人機(jī)環(huán)境同步平臺進(jìn)行數(shù)據(jù)分析。主試間為觀察與數(shù)據(jù)分析區(qū)域，布置有語音控制臺，研究人員的指令通過被試間的揚(yáng)聲器傳送給受試者；主試間還布置有人機(jī)環(huán)境同步平臺、人因智能邊緣計(jì)算平臺等設(shè)備，研究人員可在主試間實(shí)時(shí)同步采集多模態(tài)人因數(shù)據(jù)并進(jìn)行分析。

實(shí)驗(yàn)室被試間設(shè)置有多模態(tài)人因數(shù)據(jù)采集設(shè)備，包括高精度眼動儀、邊緣智能眼動儀、行為表情語音邊緣智能實(shí)驗(yàn)儀、邊緣智能生理儀、邊緣智能腦電儀、邊緣智能腦成像儀、邊緣智能多模態(tài)腦功能儀以及行為模式邊緣智能實(shí)驗(yàn)儀等。被試間的產(chǎn)品組成與選型可根據(jù)實(shí)際研究需求進(jìn)行配置。

實(shí)驗(yàn)室主試間設(shè)置有多模態(tài)人因數(shù)據(jù)同步采集、分析和人因智能實(shí)驗(yàn)儀，包括ErgoAI人因智能實(shí)驗(yàn)儀和ErgoAI人因智能評估平臺。其中，ErgoAI人因智能實(shí)驗(yàn)儀支持多模態(tài)數(shù)據(jù)同步采集與分析，確保所需要的人、機(jī)、環(huán)境三方面的多模態(tài)數(shù)據(jù)可基于同一時(shí)間軸進(jìn)行實(shí)時(shí)同步，消除事后對齊數(shù)據(jù)分析的負(fù)擔(dān)，并使數(shù)據(jù)“協(xié)同增效"，多角度綜合印證結(jié)果，確保數(shù)據(jù)結(jié)果的有效性與準(zhǔn)確性。ErgoAI人因智能應(yīng)用平臺，對接人機(jī)環(huán)境同步平臺所同步采集的多模態(tài)數(shù)據(jù)，搭建開放式AI算法應(yīng)用平臺，能夠?yàn)椴煌珹I算法基礎(chǔ)的用戶，提供從數(shù)據(jù)采集、數(shù)據(jù)降噪、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型評估及部署應(yīng)用的全流程智能化應(yīng)用系統(tǒng)。平臺可提供數(shù)千人次數(shù)據(jù)搭建的各類應(yīng)用數(shù)據(jù)集，涵蓋人員基數(shù)據(jù)集、狀態(tài)數(shù)據(jù)集等，以及數(shù)十種人因工程預(yù)訓(xùn)練模型，包括單模態(tài)狀態(tài)識別模型、多模態(tài)狀態(tài)識別模型等。同時(shí)，ErgoAI人因智能應(yīng)用平臺支持根據(jù)實(shí)際研究內(nèi)容與方向創(chuàng)建數(shù)據(jù)集、訓(xùn)練并驗(yàn)證模型，并進(jìn)行模型部署與實(shí)時(shí)狀態(tài)預(yù)測。

(1) 實(shí)驗(yàn)室示意圖

功能應(yīng)用：

1. 基于測試任務(wù)的多模態(tài)數(shù)據(jù)同步

2. 人因大數(shù)據(jù)平臺

3. 人因智能算法模型庫

4. 人因智能應(yīng)用與定制開發(fā)