實驗室可用于進行虛擬現(xiàn)實環(huán)境多人交互系統(tǒng)的研究。實驗室主要分為被試間與主試間兩大功能區(qū)域，之間由單向玻璃隔開，使主試間中的研究人員看見被試間內(nèi)受試者的行為，而受試者看不見主試間，從而減小干擾。其中，被試間為實驗進行的區(qū)域，搭建為虛擬現(xiàn)實測試室，可通過CAVE式虛擬現(xiàn)實系統(tǒng)、8K眼動腦電多模態(tài)虛擬現(xiàn)實頭盔或者多人交互虛擬現(xiàn)實系統(tǒng)進行虛擬現(xiàn)實場景呈現(xiàn)，并可依照測試需求布置所需的多模態(tài)數(shù)據(jù)采集設備，如虛擬現(xiàn)實眼動儀、可穿戴人因生理儀等；被試間中有多個行為觀察攝像頭與拾音器，從不同角度攝取受試者的行為影像并采集受試者的聲音，音視頻信號傳送給主試間中的人機環(huán)境同步平臺進行數(shù)據(jù)分析。主試間為觀察與數(shù)據(jù)分析區(qū)域，布置有語音控制臺，研究人員的指令通過被試間的揚聲器傳送給受試者；主試間還布置有人機環(huán)境同步平臺、人因智能邊緣計算平臺等設備，研究人員可在主試間實時同步采集多模態(tài)人因數(shù)據(jù)并進行分析。

實驗室被試間設置有多模態(tài)人因數(shù)據(jù)采集設備，包括CAVE式虛擬現(xiàn)實系統(tǒng)、8K眼動腦電多模態(tài)虛擬現(xiàn)實頭盔、多人交互虛擬現(xiàn)實系統(tǒng)、虛擬聽覺嗅覺觸覺感知模擬系統(tǒng)、虛實時空行為分析系統(tǒng)、虛擬現(xiàn)實雙手交互系統(tǒng)、虛擬現(xiàn)實腦機交互設備、虛擬現(xiàn)實情感交互設備、虛擬現(xiàn)實動作交互設備、表情語音采集儀、行為觀察儀、可穿戴人因生理儀、虛擬現(xiàn)實腦成像儀、可穿戴多模態(tài)腦功能儀、動作捕捉儀以及裝備設計人因測試專家系統(tǒng)等。被試間的產(chǎn)品組成與選型可根據(jù)實際研究需求進行配置。此外，被試間系統(tǒng)的多模態(tài)數(shù)據(jù)采集設備可結合ErgoAI人因智能邊緣計算終端，將計算和數(shù)據(jù)處理能力移至接近數(shù)據(jù)源的終端設備上，進行數(shù)據(jù)的智能化處理和分析。

實驗室主試間設置有多模態(tài)人因數(shù)據(jù)同步采集、分析和邊緣智能設備，包括ErgoLAB人機環(huán)境同步平臺和ErgoAI人因智能評估平臺。其中，ErgoLAB人機環(huán)境同步平臺支持多模態(tài)數(shù)據(jù)同步采集與分析，確保所需要的人、機、環(huán)境三方面的多模態(tài)數(shù)據(jù)可基于同一時間軸進行實時同步，消除事后對齊數(shù)據(jù)分析的負擔，并使數(shù)據(jù)“協(xié)同增效"，多角度綜合印證結果，確保數(shù)據(jù)結果的有效性與準確性。ErgoAI人因智能應用平臺，對接人機環(huán)境同步平臺所同步采集的多模態(tài)數(shù)據(jù)，搭建開放式AI算法應用平臺，能夠為不同AI算法基礎的用戶，提供從數(shù)據(jù)采集、數(shù)據(jù)降噪、數(shù)據(jù)標注、模型訓練、模型評估及部署應用的全流程智能化應用系統(tǒng)。平臺可提供數(shù)千人次數(shù)據(jù)搭建的各類應用數(shù)據(jù)集，涵蓋人員基數(shù)據(jù)集、狀態(tài)數(shù)據(jù)集等，以及數(shù)十種人因工程預訓練模型，包括單模態(tài)狀態(tài)識別模型、多模態(tài)狀態(tài)識別模型等。同時，ErgoAI人因智能應用平臺支持根據(jù)實際研究內(nèi)容與方向創(chuàng)建數(shù)據(jù)集、訓練并驗證模型，并進行模型部署與實時狀態(tài)預測。

(1) 實驗室示意圖

功能應用

l 基于多人的人機環(huán)境多模態(tài)數(shù)據(jù)同步采集

l 基于多種虛擬現(xiàn)實場景

l 對接主流VR引擎

l 基于三維物體的AOI及SOI興趣區(qū)測評與分析

l 基于VR原型的多人人因測評與分析

ErgoLAB多模態(tài)同步方案：

整體概述

ErgoLAB人機環(huán)境同步平臺采用多車軌跡、訪問狀態(tài)以及視線交互、情感反應、交互操作行為等數(shù)據(jù)實時同步采集)、以及作業(yè)空間及作業(yè)環(huán)境數(shù)據(jù)（溫度、濕度、噪音、光照、大氣壓、濕度、粉塵等）等客觀量化數(shù)據(jù)；為科學研究及應用提供完整的數(shù)據(jù)指標。

ErgoAI人因智能：

將人工智能技術引入人因工程研究工具，人因工程行業(yè)更加深度，使得實驗環(huán)境不會受限于某一種設備或數(shù)據(jù)指標，采集分析不同典型行業(yè)或?qū)W科專業(yè)的人-機-環(huán)境系統(tǒng)交互過程中自然狀態(tài)下的人類行為數(shù)據(jù)，獲取更接近真實人員狀態(tài)的數(shù)據(jù)。平臺還提供覆蓋科研實驗全流程的功能模塊，包括項目管理、實驗設計、同步采集、數(shù)據(jù)分析、綜合統(tǒng)計和可視化報告，結合ErgoAI人因智能邊緣計算平臺為多模態(tài)人機環(huán)境研究提供一站式人因工程+人工智能解決方案。以ErgoLAB人機環(huán)境同步平臺和ErgoAI人因智能邊緣計算平臺為核心的多模態(tài)同步人因智能解決方案大大提高了實驗結果的信效度，同時節(jié)省了研究的人力、物力、時間，提高了研究與測評的整體效率。

基于ErgoAI人因智能多元時序算法底座與人因工程人機環(huán)境數(shù)據(jù)庫，構建人員特定狀態(tài)的預訓練模型，配合高靈活度的訓練方案管理功能，用戶能夠在統(tǒng)一環(huán)境中高效構建和優(yōu)化模型。 從而實現(xiàn)對人員狀態(tài)的實時評估與預警，如負荷狀態(tài)、應激狀態(tài)、疲勞狀態(tài)、情景意識和注意能力等。

Kingfar公司介紹：

北京津發(fā)科技股份有限公司是國家專精特新重點小巨人，國家知識產(chǎn)權優(yōu)勢企業(yè)、國家技術企業(yè)、國家科技型中小企業(yè)；旗下包含北京人因智能工程技術研究院和北京人因工程設計院等科技研發(fā)機構，并聯(lián)合共建了北京市企業(yè)技術中心、北京本科高校產(chǎn)學研深度協(xié)同育人平臺、蘇州市重點實驗室、湖南省工程實驗室、山東省工程研究中心等多個科技創(chuàng)新平臺。

津發(fā)科技承擔和參與了多項國家重點研發(fā)計劃、高質(zhì)量發(fā)展專項、國家自然科學基金等課題基金。擔任全國信標委XR擴展現(xiàn)實標準化組副組長單位，元宇宙標準化工作組關鍵技術組聯(lián)合組長單位；津發(fā)科技創(chuàng)新研發(fā)了國產(chǎn)化自主可控的人因工程與人因智能邊緣計算系列信創(chuàng)產(chǎn)品與技術，榮獲多項省部級科學技術獎勵；津發(fā)科技主持和參編/國家、行業(yè)/團體標準20余項、榮獲30余項省部級新技術新產(chǎn)品認證，申請超過500項、100余項和國家注冊商標、130余項國家軟件著作權；已服務全國高等院校和裝備科技工業(yè)科研院所應用示范，并已支撐國內(nèi)科研學者和科技工作者發(fā)表中英文學術論文超過1000篇。