淘寶數字人專利可模擬用戶聲音

天眼查知識產權信息顯示,3月15日,淘寶(中國)軟件有限公司申請的“基於數字人的視頻生成與交互方法、設備、存儲介質與程序產品”專利公佈。

摘要顯示,本申請實施例基於用戶的聲音特徵和情感標籤進行文本轉語音處理,以及基於用戶的聲音特徵和表情係數之間的映射關係進行語音轉表情處理,並基於語音信號和表情係數渲染數字人模型,以得到數字人模型的視頻數據。該專利精準地模擬用戶的聲音特徵,確保了數字人的語音輸出不僅聽起來自然,而且實現數字人的個性化驅動,提高數字人在聲音和動態形象方面的逼真度,進而提高用戶體驗,提升了數字人的互動性、真實感和沉浸感。