AI 領域的下一個大事件并不是教會 AI 完成某項任務，而是讓機器向人們解釋為什么它們做出了某項決策。比方說，一個機器人決定走一條特定路線去倉庫，又比如，一輛無人駕駛汽車決定向左或向右轉。我們怎么知道 AI 為什么做出這些決定？
卡內基梅隆大學計算機科學教授 Manuela Veloso 是研究協作機器人的專家。他表示，能解釋自身行為的 AI 對贏得大眾對人工智能的信任至關重要。“我們需要質疑為什么算法程序會做出這樣那樣的決定，如果我們不在 AI 動機解釋上花功夫，就無法信任這個智能系統。”
為解決該問題， 創業公司 OptimizingMind 發明了一項能觀察智能機器決策過程的技術。
這個算法的目的是創造 “透明訪問”系統，以呈現機器學習是如何做出預期（expectations）的。OptimizingMind 的負責人 Tsvi Achler 說：
“該系統以人腦的神經模型為基礎，能把任何深度網絡 （deep networks）轉化為該系統的模式。它的目的是探索 AI 行為的潛在預期 （underlying expectations），并且找出 AI 思維模式的哪個方面對決策影響最大”。
有著神經科學、醫藥和計算機科學多重學科背景的 Achler 認為，我們能從人腦如何作出和解釋決策中學習到很多（應用到 AI 的知識）。
“我感興趣的是，大腦和計算機的共同點在哪里？為什么人腦可以在學會任何模型之后把它解釋出來。如果我說 ‘章魚’，你是否能告訴我那是什么？如果我問章魚觸手長什么樣，你能告訴我嗎？”
人能做到，AI 為什么不行？
他說，當人類觀察到一個新模式（或規律）的時候，會立刻學會那個模式。這對 AI 暫時還不可能。 AI 的學習方法被稱為批量學習。如果你想要對 AI 加入一個新模式或者新注解，你必須從頭開始把所有的新舊模式重新教一遍。
Achler 開發的算法呈現出神經科學里的 “爆裂” 現象。當人觀察到一個新模式時，多個神經元被同時激發，然后它們沉寂下來。當你向某人展示一個模式的時候，下一瞬間會發生神經興奮，之后逐漸地平靜下來。在這個算法里你會看到同樣的事情。
實際上，這種研究方式是對傳統機器學習進行了重新思考，Achler 認為該過程就像深度學習、感知器、支持向量機（SVM） 、 卷積神經網絡（CNN）、遞歸神經網絡（RNN）、反向傳播等研究一樣。研究者們并沒有打算解決即時學習這一難題。 “這項技術的目的非常明確，那就是嘗試解釋 AI 是怎樣思考的。沒有人想過如何讓系統變得更靈活或是更具可信度，而它的整體目標是讓 AI 決策更容易被訪問。”
OptimizingMind 是一種以人腦運行方式為基礎的算法，旨在使開發者能“觀察到系統內部，理解它們（AI 系統）在干什么，并且很方便地編輯它們，而無需從頭開始訓練”。這能讓機器學習“一步到位”，而神經網絡馬上就能學會。舉例來說，人們能告訴 Siri 某一個詞的定義，然后它會被存儲起來。今天神經網絡還達不到這一點，它們需要用無數案例不斷訓練學習。
所以 “透明訪問”系統是什么意思呢？根據 Achler 的說法， 這個系統提供了一種實時觀察 AI 決策的方法。 它可以訪問權重、特點和節點，提供能讀取這些信息的靈活性，并且能改寫它們。最終，這個系統能讓我們理解神經網絡是怎么做出一個決策的。這個工具能幫助工程師們大幅減少機器開發的時間，幫企業節省資源。
此外 Achler 還表示，在提供透明度之外，這個算法還可以被修改。不但預期（expectations）能被表達出來，每個單獨預期還能隨著新信息立刻改變。
今天，大多數機器學習的方法使用一個正反饋（feedforward）技術。風險投資公司 Naiss.io 的聯合創始人 Ed Fernandez 說，正反饋使用優化過的權重執行任務。在正反饋系統里，獨特性信息（ uniqueness information）依據訓練中出現的頻率被錄入權重。這意味著整套訓練中的權重必須經過優化。這又意味著 OptimizingMind 可以“根據正在被識別的模式執行優化”，這不是為了權重而優化，而是為了模式識別去優化。
當機器學習與商業更緊密結合，并成為無人駕駛和其他極其重要科技的基石，理解機器學習中到底發生了什么就變得至關重要。事實上， DARPA 最近啟動了一項對可解釋 AI （XAI，explainable artificial intelligence） 的投資。
正如 Veloso 教授說的：“我們不能假定 AI 系統完美無缺。”我們必須從 AI 的錯誤中學習。Veloso 表示，“如果某天發生了一起 AI 事故，我們必須避免它再次發生。”