IT之家4月26日消息，人工智能（AI）的發展日新月異，但也存在一些難題，比如AI模型有時會出現“幻覺”，即說出錯誤的事實、涉及有害的話題或導致安全風險。為了解決這個問題，英偉達在周二發布了一款新的軟件，名為NeMoGuardrails，可以幫助軟件開發者給AI模型設置“護欄”，防止它們產生不良的輸出。
NeMoGuardrails是一個軟件層，位于用戶和AI模型之間，可以在模型輸出不良內容之前進行攔截和修改。例如，如果開發者想要創建一個客服聊天機器人，可以使用NeMoGuardrails來限制它只能談論相關的產品，而不能談論競爭對手的產品或其他不相關的話題。如果用戶提出這樣的問題，機器人可以引導對話回到開發者希望的話題上。
英偉達還提供了另一個例子，一個用于回答內部企業人力資源問題的聊天機器人。在這個例子中，英偉達能夠使用NeMoGuardrails來阻止基于ChatGPT的機器人回答關于公司財務狀況的問題或訪問其他員工的私人數據。
此外，該軟件還能夠利用一個AI模型來檢測另一個AI模型的“幻覺”，通過向第二個AI模型提問來核實第一個AI模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。
英偉達還表示，這個“護欄”軟件還有助于提高安全性，可以強制AI模型只與白名單列表中的第三方軟件進行交互。
NeMoGuardrails是開源的，并通過英偉達服務提供，可以用于商業應用，開發者將使用Golang編程語言來為AI模型編寫自定義規則。
據IT之家搜索了解，包括谷歌和微軟支持的OpenAI等其他AI公司，也使用了一種稱為強化學習的方法來防止LLM應用產生有害的輸出。這種方法使用人類測試者來創建關于哪些答案是可接受或不可接受的數據，然后使用這些數據來訓練AI模型。
英偉達正在將其注意力轉向AI領域，該公司目前占據了創建這項技術所需芯片的市場主導地位，其股價在2023年迄今為止上漲了85%，成為標準普爾500指數中漲幅最大的股票。