暗物質申請一種基於 BPE 的視頻模態特徵處理方法及系統專利，能確保視頻關鍵信息得到有效保留

金融界 2024 年 12 月 13 日消息，國家知識產權局信息顯示，暗物質（北京）智能科技有限公司申請一項名爲“一種基於 BPE 的視頻模態特徵處理方法及系統”的專利，公開號 CN 119110129 A，申請日期爲 2024 年 8 月。

專利摘要顯示，本發明公開了一種基於 BPE 的視頻模態特徵處理方法及系統，方法包括將視頻幀通過 BPE 算法進行合併，達到設定數量的視頻幀後進行視頻編碼得到視頻特徵向量表示，或者將視頻幀通過視頻編碼後再通過 BPE 算法進行合併得到視頻幀特徵向量；將文本進行編碼得到文本特徵向量表示；將文本特徵向量表示和視頻特徵向量表示進行線性變換，或者將文本特徵向量表示和視頻幀特徵向量進行線性變換，得到多模態特徵向量表示；通過大語言模型處理多模態特徵向量表示，生成多維度的視頻內容表示。本發明通過 BPE 算法能夠適應不同長度的視頻內容，確保無論視頻的長短，其關鍵信息都能得到有效保留，爲 video LLMs 提供了數據基礎，使其能夠全面理解視頻內容。

本文源自：金融界

作者：情報員