? ?人工智能要形成長(zhǎng)期記憶，還需要腦科學(xué)、神經(jīng)科學(xué)、心理學(xué)和行為經(jīng)濟(jì)學(xué)等多學(xué)科的交叉研究。
?

　　記住一些東西并能回憶起來(lái)，對(duì)于人類來(lái)說(shuō)是與生俱來(lái)的能力。記憶可以讓我們回憶過(guò)往之事，并基于此對(duì)未來(lái)做出決策。能否讓AI智能體也做到這點(diǎn)呢？近日，谷歌旗下人工智能企業(yè)“深層思維”（DeepMind）提出一種方法，能夠讓智能體使用特定的記憶來(lái)信任過(guò)去的行為，并對(duì)未來(lái)做出正確的決策。相關(guān)成果發(fā)表于最新一期的《自然·通訊》上。
?

　　那么，目前我們讓AI產(chǎn)生的記憶和人類的記憶是一回事嗎？人工智能可以用什么方法產(chǎn)生記憶？與以往相比，此次“深層思維”提出的新方法有何不同？在賦予人工智能記憶方面，我們尚需做哪些努力？
?

　　四種方法讓AI產(chǎn)生“記憶”
?

　　記憶是我們對(duì)過(guò)去的經(jīng)歷進(jìn)行編碼、存儲(chǔ)、回憶等的能力。一般而言，可以將其視為利用過(guò)去的經(jīng)驗(yàn)來(lái)影響當(dāng)前行為的能力。它使人類能夠?qū)W習(xí)以前的經(jīng)驗(yàn)并與現(xiàn)在的實(shí)踐建立聯(lián)系。
?

　　生活中那些感動(dòng)我們的人或事往往會(huì)觸發(fā)回憶，也就是我們通常所說(shuō)的觸景生情?！叭祟惖拈L(zhǎng)期記憶實(shí)際上是呈現(xiàn)多模態(tài)、場(chǎng)景化特征的，即一個(gè)記憶事件在存儲(chǔ)時(shí)包含多個(gè)維度，觸發(fā)某個(gè)維度就可以快速找到線索并進(jìn)行回憶?！边h(yuǎn)望智庫(kù)人工智能事業(yè)部部長(zhǎng)、圖靈機(jī)器人首席戰(zhàn)略官譚茗洲在接受科技日?qǐng)?bào)記者采訪時(shí)表示，但人們往往高估了記憶量，其實(shí)我們的記憶容量很有限，所以人類記憶本身是高度抽象的，在記憶時(shí)我們通常選擇對(duì)事件進(jìn)行特征提煉，其中有好多要素只是概況并且是模糊的。如回憶電影，我們不會(huì)精準(zhǔn)地回憶一幀一幀的完整成像，但如果類似場(chǎng)景再現(xiàn)，我們就會(huì)回想起之前的一幕。
?

　　在以往的研究中，采用什么方法可以讓AI產(chǎn)生回憶？
?

　　譚茗洲介紹說(shuō)，比較常用的有四種方法：第一種是長(zhǎng)短期記憶網(wǎng)絡(luò)。它是由一個(gè)被嵌入到網(wǎng)絡(luò)中的顯性記憶單元組成，功能是記住較長(zhǎng)周期的信息。這一技術(shù)主要被谷歌、亞馬遜和微軟等公司用于語(yǔ)言識(shí)別、智能助手等。第二種方式是彈性權(quán)重鞏固算法。這種算法主要用于序列學(xué)習(xí)多種游戲?！吧顚铀季S”采用的就是這種與記憶鞏固有關(guān)的算法，目的是讓機(jī)器學(xué)習(xí)、記住并能夠提取信息。第三種方法是可微分神經(jīng)計(jì)算機(jī)，這種計(jì)算機(jī)的特點(diǎn)是將神經(jīng)網(wǎng)絡(luò)與記憶系統(tǒng)聯(lián)系起來(lái)，并像傳統(tǒng)計(jì)算機(jī)一樣存儲(chǔ)信息，還可從例子中進(jìn)行學(xué)習(xí)。第四種方法是連續(xù)神經(jīng)網(wǎng)絡(luò)，主要用于迷宮學(xué)習(xí)，解決復(fù)雜的連續(xù)性任務(wù)，同時(shí)可以遷移知識(shí)。
?

　　解決長(zhǎng)期信用分配問(wèn)題是關(guān)鍵
?

　　那目前，AI產(chǎn)生的記憶與人類的記憶是一回事嗎？譚茗洲答道：“目前AI的記憶仍只是停留在將學(xué)習(xí)所獲得的信息進(jìn)行編碼、存儲(chǔ)，進(jìn)而轉(zhuǎn)化為認(rèn)知的過(guò)程。以前的做法只是讓AI將所發(fā)生的一切悉數(shù)存儲(chǔ)，然而記憶與存儲(chǔ)是有區(qū)別的，記憶是為了能夠有效回憶。人類回憶的方式，往往是跨各種閾界的，如通過(guò)某個(gè)品牌忽然想起某個(gè)事。因此，要讓AI智能體對(duì)過(guò)去所發(fā)生的一些事情，判斷該不該記憶，關(guān)鍵要采取一些方法令其做出評(píng)定，達(dá)到人類回憶的效果?！?br> ?

　　要讓AI能夠?qū)崿F(xiàn)回憶過(guò)去的事情，涉及到長(zhǎng)期信用分配問(wèn)題：即如何評(píng)估行為在長(zhǎng)期行為序列中的效用。但人工智能現(xiàn)有的信度分配方法無(wú)法解決行為與結(jié)果之間存在長(zhǎng)時(shí)間延遲的任務(wù)。
?

　　據(jù)介紹，人工智能的研究中，在一個(gè)長(zhǎng)序列內(nèi)評(píng)估個(gè)人行為的效用問(wèn)題，被稱為信用分配問(wèn)題。該評(píng)估可以對(duì)過(guò)去的行動(dòng)或計(jì)劃的未來(lái)行動(dòng)進(jìn)行評(píng)分。
?

　　譚茗洲解釋道：“具體在強(qiáng)化學(xué)習(xí)中，智能體獲得指導(dǎo)的唯一途徑是通過(guò)獎(jiǎng)勵(lì)，而獎(jiǎng)勵(lì)通常是稀疏和延遲的。當(dāng)智能體得到獎(jiǎng)勵(lì)時(shí)，很難知道哪些行為應(yīng)該被信任，哪些該被責(zé)備，這就是信用分配問(wèn)題?！?br> ?

　　此外，譚茗洲介紹道，想讓AI像人類那樣產(chǎn)生回憶，首先需要讓AI學(xué)會(huì)情景記憶以及自傳式記憶。AI之所以很難做到這點(diǎn)，是因?yàn)榍榫坝洃浐妥詡魇接洃浻兄浅?qiáng)的個(gè)體體驗(yàn)特性。情景記憶與自傳式記憶一旦和當(dāng)事人割裂開(kāi)來(lái)，就失去了生命力，對(duì)于機(jī)器而言，這很難想像。畢竟對(duì)于機(jī)器而言，精神可以獨(dú)立于物質(zhì)存在，體驗(yàn)可以獨(dú)立于主體存在。此外還要防止機(jī)器可能出現(xiàn)的災(zāi)難性遺忘。認(rèn)知心理學(xué)研究表明，人類自然認(rèn)知系統(tǒng)的遺忘并不需要完全抹除先前的信息。但是對(duì)于機(jī)器而言，遺忘就是災(zāi)難性的，即需要抹除先前的信息。
?

　　與人類復(fù)雜記憶相比仍是初級(jí)階段
?

　　據(jù)譚茗洲介紹，此次“深層思維”提出將范例建立在深入的強(qiáng)化學(xué)習(xí)基礎(chǔ)上，并引入長(zhǎng)期信用分配的原則。首先，智能體需編碼并存儲(chǔ)感知和事件記憶；然后，智能體需通過(guò)識(shí)別和訪問(wèn)過(guò)去事件的記憶來(lái)預(yù)測(cè)未來(lái)的回報(bào)；再有，智能體需根據(jù)其對(duì)未來(lái)獎(jiǎng)勵(lì)的貢獻(xiàn)來(lái)重新評(píng)估這些過(guò)去的事件。這樣可讓智能體使用特定的記憶來(lái)信任過(guò)去的行為，并對(duì)未來(lái)做出正確的決策。
?

　　為了做到這一點(diǎn)，“深層思維”論文顯示，其做的首要工作是形式化任務(wù)結(jié)構(gòu)，主要包括兩種類型的任務(wù)。具體而言，在第一種信息獲取任務(wù)中：一階段，智能體需在無(wú)即時(shí)獎(jiǎng)勵(lì)情況下探索一個(gè)環(huán)境來(lái)獲取信息；二階段，智能體在很長(zhǎng)一段時(shí)間內(nèi)從事一項(xiàng)不相關(guān)的干擾任務(wù)，并獲得許多附帶獎(jiǎng)勵(lì)；三階段，智能體需利用一階段中得到的信息獲取遠(yuǎn)端獎(jiǎng)勵(lì)。
?

　　在第二種因果任務(wù)中：一階段，智能體需采取行動(dòng)觸發(fā)僅具有長(zhǎng)期因果關(guān)系的某事件；二階段，同樣是一個(gè)干擾任務(wù)；三階段，為了取得成功，智能體需利用一階段活動(dòng)引起的環(huán)境變化來(lái)獲得成功。
?

　　而在研究這種結(jié)構(gòu)的完整任務(wù)之前，研究人員考慮讓智能體實(shí)現(xiàn)一個(gè)更簡(jiǎn)單的被動(dòng)過(guò)程的任務(wù)——“被動(dòng)視覺(jué)匹配”，即智能體不用采取任何主動(dòng)措施去采集信息，如同一個(gè)人在街上走路，不經(jīng)意間就觀察到某些信息一樣。
?

　　“深層思維”的論文呈現(xiàn)一個(gè)打游戲過(guò)程中的簡(jiǎn)單場(chǎng)景，并讓AI智能體對(duì)探索過(guò)的路徑及攻略進(jìn)行記憶，當(dāng)然與人類復(fù)雜的記憶機(jī)制相比，還是相當(dāng)初期的階段。
?

　　譚茗洲強(qiáng)調(diào)，正如論文所述，新方法的范式拓寬了AI研究的范疇。這是一個(gè)有趣的話題，涉及人腦科學(xué)的研究，以及神經(jīng)科學(xué)、心理學(xué)和行為經(jīng)濟(jì)學(xué)等多學(xué)科交叉研究的嘗試，今后還有很長(zhǎng)的路要走，需要更多開(kāi)放性的探索。
?

　　目前人工智能系統(tǒng)還不具備長(zhǎng)期記憶
?

　　人腦從功能的角度可分為幾個(gè)模塊：寄存器、短期記憶、長(zhǎng)期記憶、中央控制模塊。人腦通過(guò)五種傳感器，視覺(jué)、觸覺(jué)等，從外部接受信息，存在寄存器，如果我們的注意力關(guān)注這些信息，大腦可以把這些信息變成短期記憶里的內(nèi)容，短期記憶可以持續(xù)30秒左右，如果我們有意識(shí)要記住這些內(nèi)容的話，大腦又會(huì)將短期記憶的內(nèi)容轉(zhuǎn)到長(zhǎng)期記憶中。
?

　　長(zhǎng)期記憶的內(nèi)容既有信息，也有知識(shí)。簡(jiǎn)單地說(shuō)，信息表示的是世界的事實(shí)，知識(shí)表示的是人們對(duì)世界的理解，兩者之間并不一定有明確的界線。人在長(zhǎng)期記憶里存儲(chǔ)信息和知識(shí)時(shí)，新的內(nèi)容和已有的內(nèi)容聯(lián)系到一起，規(guī)模不斷增大，這就是長(zhǎng)期記憶的特點(diǎn)。長(zhǎng)期記憶實(shí)際上存在于大腦皮層，在大腦皮層，記憶意味著改變腦細(xì)胞之間的鏈接，構(gòu)建新的鏈路，形成新的網(wǎng)絡(luò)模式。
?

　　我們可以認(rèn)為，現(xiàn)在的人工智能系統(tǒng)是沒(méi)有長(zhǎng)期記憶的。無(wú)論是阿爾法狗，還是自動(dòng)駕駛汽車，都是重復(fù)使用已經(jīng)學(xué)習(xí)好的模型或者已經(jīng)被人工定義好的模型，不具備不斷獲取信息和知識(shí)，并把新的信息與知識(shí)加入到系統(tǒng)中的機(jī)制。
?

　　有學(xué)者認(rèn)為，具有長(zhǎng)期記憶將使人工智能系統(tǒng)演進(jìn)到一個(gè)更高的階段。暢想5—10年后，有可能構(gòu)建這樣的智能系統(tǒng)，在這個(gè)系統(tǒng)中，有語(yǔ)言處理模塊，包括短期記憶、長(zhǎng)期記憶，系統(tǒng)能自己不斷去讀取數(shù)據(jù)，能把數(shù)據(jù)里面的知識(shí)做壓縮后放到長(zhǎng)期記憶模塊。構(gòu)建擁有長(zhǎng)期記憶的智能問(wèn)答系統(tǒng)，正是我們現(xiàn)在的愿景。
?