近日,國際人工智能頂會CVPR 2024舉辦的第6屆自然場景情感行為分析挑戰賽(6th Workshop and Competition on Affective Behavior Analysis in-the-wild,簡稱ABAW)公布比賽結果,天翼云AI團隊(CtyunAI)在情感識別任務中表現出色,斬獲雙賽道亞軍、單個賽道季軍,并受邀在CVPR ABAW研討會上作論文分享。這是繼天翼云在CVPR中榮獲多次佳績后再一次斬獲殊榮。
CVPR會議是由IEEE主辦的關于計算機視覺和模式識別的國際學術會議,收錄了該領域最新的研究成果和技術發展,是全球計算機視覺三大頂級會議之一。
ABAW競賽是由國際頂級計算機視覺研究者和科學家們共同發起的競賽,致力于解決自然情境下計算機對人的情感行為進行分析的問題,并以此提升人機交互系統的場景應用能力,目標是創造出能夠理解人的感覺、情緒和行為的機器和機器人,從而讓機器能夠與人類互動并有效地成為人類的數字助手。
本屆競賽共吸引了來自世界各地的100多支團隊參加,其中不乏國內外知名大學和研究機構,如中國科學院、中國科學技術大學等。參賽隊伍需要對來源于現實場景的594個視頻共300萬幀圖像進行分析,通過視頻中的圖像、人物、聲音來預測指定人物在連續時間下的情感。
天翼云AI團隊在本次競賽中嘗試簡化問題,僅使用純視覺特征進行任務建模。首先,通過使用可擴展的vision表征學習的掩碼式自動編碼器(Masked Autoencoder)在大量人臉表情相關的數據集上進行預訓練,以學習魯棒的圖像表征;其次,在比賽提供的aff-wild2數據集上使用Expr標簽進行微調,以更好地適合該數據集的分布;最后,利用時域卷積網絡(Temporal Convolutional Network)和Transformer對數據在時間維度上進行建模,從而使模型能夠通過視頻的上下文對結果進行預測,大大提升了模型的任務表現。
當前,以大模型為代表的AI技術的發展及應用已步入爆發期,并成為驅動產業數字化與智能化的重要引擎。天翼云將繼續在圖像、音頻及多模態領域持續深耕,不斷夯實國云智算底座,推動AI技術變革升級,為數字經濟發展注入新的活力。