蔚銳科技申請用於神經網絡模型的數據處理專利，提高注意力計算速度

金融界2024年12月24日消息，國家知識產權局信息顯示，蔚銳科技（深圳）有限公司申請一項名爲“用於神經網絡模型的數據處理方法、服務器、設備及介質”的專利，公開號CN 119167991 A ，申請日期爲 2024 年 11 月。

專利摘要顯示，本申請涉及人工智能技術領域，具體提供一種用於神經網絡模型的數據處理方法、服務器、設備及介質，旨在解決如何基於移動設備的CPU對神經網絡模型進行注意力計算的問題。本申請提供的方法包括根據神經網絡模型的模型文件獲取第一計算圖，第一計算圖用於描述神經網絡模型的所有算子以及各算子之間的連接關係；獲取第一計算圖中的多個目標算子，多個目標算子爲用於Transformer模塊進行注意力計算的多個算子對多個目標算子對應的計算操作進行融合，以形成一個融合算子，融合算子用於移動設備的CPU執行計算操作；將多個目標算子替換爲融合算子得到第二計算圖。通過上述方法可以基於CPU執行融合算子對應的計算操作，提高注意力計算的速度，從而提高模型推理速度。

本文源自：金融界

作者：情報員