什麼是長短期記憶?

歡迎來到科普中國特別推出的寒假精品欄目“給孩子的高新科技課”!

人工智能作爲當今最前沿的科技之一,正在以令人驚歎的速度改變着我們的生活。從智能語音助手到無人駕駛汽車,從 AI 繪畫到機器學習,它爲我們打開了一個充滿無限可能的未來。本欄目將以通俗易懂的方式,用視頻和文字給孩子講述人工智能的原理、應用及其對社會的深遠影響。

快跟我們一起開啓這場 AI 之旅吧!

長短期記憶

LSTM的全稱是長短期記憶網絡,是一種基於循環神經網絡的架構。它能夠很好地解決循環神經網絡中的梯度消失問題。

梯度消失指的是:循環神經網絡在處理信息的時候,如果碰到的內容太長,在處理到後面內容的時候,可能已經忘了前面提到的信息了,這會影響神經網絡的訓練效果。

LSTM架構在神經網絡中增加了一個稱作“細胞狀態”的模塊,這個模塊像是一個記憶庫。在訓練過程當中,這個模塊能不斷地對記憶庫裡的信息進行更新,增加新的記憶,刪除不必要的舊的記憶。在處理長信息的時候,細胞狀態能夠防止遺忘,實現更好的訓練效果。

除了處理文本信息,LSTM在語音識別、手寫識別、動作識別、機器人控制等方面也有非常廣泛的應用。

策劃製作

本文爲科普中國-創作培育計劃作品

出品|中國科協科普部

監製|中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司

作者丨北京雲御紀文化傳播有限公司

審覈丨秦曾昌 北京航空航天大學 自動化科學與電氣工程學院 副教授

策劃丨符思佳

責編丨符思佳