為解決該問(wèn)題， 創(chuàng)業(yè)公司 OptimizingMind 發(fā)明了一項(xiàng)能觀察智能機(jī)器決策過(guò)程的技術(shù)。

　　這個(gè)算法的目的是創(chuàng)造 “透明訪問(wèn)”系統(tǒng)，以呈現(xiàn)機(jī)器學(xué)習(xí)是如何做出預(yù)期（expectations）的。OptimizingMind 的負(fù)責(zé)人 Tsvi Achler 說(shuō)：

　　“該系統(tǒng)以人腦的神經(jīng)模型為基礎(chǔ)，能把任何深度網(wǎng)絡(luò) （deep networks）轉(zhuǎn)化為該系統(tǒng)的模式。它的目的是探索 AI 行為的潛在預(yù)期 （underlying expectations），并且找出 AI 思維模式的哪個(gè)方面對(duì)決策影響最大”。

　　有著神經(jīng)科學(xué)、醫(yī)藥和計(jì)算機(jī)科學(xué)多重學(xué)科背景的 Achler 認(rèn)為，我們能從人腦如何作出和解釋決策中學(xué)習(xí)到很多（應(yīng)用到 AI 的知識(shí)）。

　　“我感興趣的是，大腦和計(jì)算機(jī)的共同點(diǎn)在哪里？為什么人腦可以在學(xué)會(huì)任何模型之后把它解釋出來(lái)。如果我說(shuō) ‘章魚(yú)’，你是否能告訴我那是什么？如果我問(wèn)章魚(yú)觸手長(zhǎng)什么樣，你能告訴我嗎？”

　　他說(shuō)，當(dāng)人類(lèi)觀察到一個(gè)新模式（或規(guī)律）的時(shí)候，會(huì)立刻學(xué)會(huì)那個(gè)模式。這對(duì) AI 暫時(shí)還不可能。 AI 的學(xué)習(xí)方法被稱為批量學(xué)習(xí)。如果你想要對(duì) AI 加入一個(gè)新模式或者新注解，你必須從頭開(kāi)始把所有的新舊模式重新教一遍。

　　Achler 開(kāi)發(fā)的算法呈現(xiàn)出神經(jīng)科學(xué)里的 “爆裂” 現(xiàn)象。當(dāng)人觀察到一個(gè)新模式時(shí)，多個(gè)神經(jīng)元被同時(shí)激發(fā)，然后它們沉寂下來(lái)。當(dāng)你向某人展示一個(gè)模式的時(shí)候，下一瞬間會(huì)發(fā)生神經(jīng)興奮，之后逐漸地平靜下來(lái)。在這個(gè)算法里你會(huì)看到同樣的事情。

　　實(shí)際上，這種研究方式是對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)進(jìn)行了重新思考，Achler 認(rèn)為該過(guò)程就像深度學(xué)習(xí)、感知器、支持向量機(jī)（SVM） 、 卷積神經(jīng)網(wǎng)絡(luò)（CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、反向傳播等研究一樣。研究者們并沒(méi)有打算解決即時(shí)學(xué)習(xí)這一難題。 “這項(xiàng)技術(shù)的目的非常明確，那就是嘗試解釋 AI 是怎樣思考的。沒(méi)有人想過(guò)如何讓系統(tǒng)變得更靈活或是更具可信度，而它的整體目標(biāo)是讓 AI 決策更容易被訪問(wèn)。”

　　OptimizingMind 是一種以人腦運(yùn)行方式為基礎(chǔ)的算法，旨在使開(kāi)發(fā)者能“觀察到系統(tǒng)內(nèi)部，理解它們（AI 系統(tǒng)）在干什么，并且很方便地編輯它們，而無(wú)需從頭開(kāi)始訓(xùn)練”。這能讓機(jī)器學(xué)習(xí)“一步到位”，而神經(jīng)網(wǎng)絡(luò)馬上就能學(xué)會(huì)。舉例來(lái)說(shuō)，人們能告訴 Siri 某一個(gè)詞的定義，然后它會(huì)被存儲(chǔ)起來(lái)。今天神經(jīng)網(wǎng)絡(luò)還達(dá)不到這一點(diǎn)，它們需要用無(wú)數(shù)案例不斷訓(xùn)練學(xué)習(xí)。

　　所以 “透明訪問(wèn)”系統(tǒng)是什么意思呢？根據(jù) Achler 的說(shuō)法， 這個(gè)系統(tǒng)提供了一種實(shí)時(shí)觀察 AI 決策的方法。 它可以訪問(wèn)權(quán)重、特點(diǎn)和節(jié)點(diǎn)，提供能讀取這些信息的靈活性，并且能改寫(xiě)它們。最終，這個(gè)系統(tǒng)能讓我們理解神經(jīng)網(wǎng)絡(luò)是怎么做出一個(gè)決策的。這個(gè)工具能幫助工程師們大幅減少機(jī)器開(kāi)發(fā)的時(shí)間，幫企業(yè)節(jié)省資源。

　　此外 Achler 還表示，在提供透明度之外，這個(gè)算法還可以被修改。不但預(yù)期（expectations）能被表達(dá)出來(lái)，每個(gè)單獨(dú)預(yù)期還能隨著新信息立刻改變。

　　今天，大多數(shù)機(jī)器學(xué)習(xí)的方法使用一個(gè)正反饋（feedforward）技術(shù)。風(fēng)險(xiǎn)投資公司 Naiss.io 的聯(lián)合創(chuàng)始人 Ed Fernandez 說(shuō)，正反饋使用優(yōu)化過(guò)的權(quán)重執(zhí)行任務(wù)。在正反饋系統(tǒng)里，獨(dú)特性信息（ uniqueness information）依據(jù)訓(xùn)練中出現(xiàn)的頻率被錄入權(quán)重。這意味著整套訓(xùn)練中的權(quán)重必須經(jīng)過(guò)優(yōu)化。這又意味著 OptimizingMind 可以“根據(jù)正在被識(shí)別的模式執(zhí)行優(yōu)化”，這不是為了權(quán)重而優(yōu)化，而是為了模式識(shí)別去優(yōu)化。

　　當(dāng)機(jī)器學(xué)習(xí)與商業(yè)更緊密結(jié)合，并成為無(wú)人駕駛和其他極其重要科技的基石，理解機(jī)器學(xué)習(xí)中到底發(fā)生了什么就變得至關(guān)重要。事實(shí)上， DARPA 最近啟動(dòng)了一項(xiàng)對(duì)可解釋 AI （XAI，explainable artificial intelligence） 的投資。

　　正如 Veloso 教授說(shuō)的：“我們不能假定 AI 系統(tǒng)完美無(wú)缺?！蔽覀儽仨殢?AI 的錯(cuò)誤中學(xué)習(xí)。Veloso 表示，“如果某天發(fā)生了一起 AI 事故，我們必須避免它再次發(fā)生。”