光學傳感器(例如相機和激光雷達)是現代機器人平臺的基本組成部分，但它們有一個共同的缺陷：玻璃容器之類的透明物體容易使它們混淆。這是因為分析來自這些傳感器的數據的大多數算法都假定所有表面都是朗伯型的，或者它們在各個方向和各個角度均均勻地反射光。相反，透明物體既折射又反射光，從而使深度數據無效或充滿噪聲。
為了尋找解決方案，一組Google研究人員與哥倫比亞大學和綜合AI(一種用于計算機視覺的數據生成平臺)合作開發了ClearGrasp。這是一種能夠從RGB圖像估計透明對象的準確3D數據的算法，重要的是，該算法可與任何標準RGB相機的輸入配合使用，使用AI重構透明對象的深度并將其推廣到訓練期間看不到的對象。
正如研究人員所指出的那樣，訓練復雜的AI模型通常需要大量的數據集，并且由于不存在透明物體的主體，他們創建了自己的包含超過50,000個逼真的渲染的圖像，這些渲染具有相應的深度，邊緣，表面法線(代表表面曲率)，和更多。每個圖像最多顯示五個透明物體，這些物體可以放在平坦的地平面上，也可以放在裝有各種背景和照明的手提袋中。一個帶有相應地面真實深度的286張真實世界圖像的單獨集合用作測試集。
ClearGrasp總共包括三種機器學習算法：一種用于估計表面法線的網絡，一種用于遮擋邊界(深度不連續)的網絡以及一種用于遮蓋透明對象的網絡。此蒙版會刪除屬于透明對象的所有像素，以便可以填充正確的深度，因此優化模塊可以使用預測的表面法線來擴展表面的深度，以指導重建的形狀。(預測的遮擋邊界有助于保持不同對象之間的分離。)
在實驗中，研究人員在其自定義數據集以及開放源代碼Matterport3D和ScanNet語料庫中的真實室內場景中訓練了模型。他們說，ClearGrasp設法為保真度比基線方法高得多的透明對象重建深度，并且其輸出深度可以直接用作使用圖像的操縱算法的輸入。當使用機器人的平行顎爪抓臂時，透明物體的抓握成功率從12%提高到74%，并且通過吸力從64%提高到86%。