雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))消息，紐約大學(xué)研究人員發(fā)現(xiàn)，如果一個(gè)給定語言模型的訓(xùn)練數(shù)據(jù)中有0.001%的數(shù)據(jù) “中毒”（即故意植入錯(cuò)誤信息），那么整個(gè)訓(xùn)練集將可能傳播這些錯(cuò)誤。

數(shù)據(jù)“中毒”影響訓(xùn)練結(jié)果，AI的實(shí)際部署，安全性同樣至關(guān)重要。

咨詢公司Gartner預(yù)測，到2028年，AI智能體將完成至少15%的日常工作決策并被應(yīng)用于33%的企業(yè)程序。大量的AI智能體開發(fā)需求，讓企業(yè)解決其中的信任、物理安全、網(wǎng)絡(luò)安全以及合規(guī)性等問題顯得更加迫在眉睫。

近日，英偉達(dá)發(fā)布了全新的保障代理式AI應(yīng)用安全的NIM微服務(wù)，這將消除企業(yè)部署生成式AI時(shí)的安全疑慮，并且為生成式AI的普及提供安全保障。

全新的NIM微服務(wù)是NeMo Guardrails軟件工具系列的一部分，這些可移植且經(jīng)過優(yōu)化的推理微服務(wù)可以幫助企業(yè)提高生成式AI應(yīng)用的安全性、精準(zhǔn)性和可擴(kuò)展性。

3項(xiàng)NIM微服務(wù)，兼顧高安全性和低延遲

NVIDIA NeMo Guardrails是一個(gè)開源工具包，允許開發(fā)者將可編程護(hù)欄添加到基于LLM的會(huì)話系統(tǒng)中，從而保障人工智能系統(tǒng)的安全與合規(guī)。

NeMo Guardrails引入的三項(xiàng)全新微服務(wù)，能夠幫助AI智能體在大規(guī)模運(yùn)行時(shí)能同時(shí)保持受控行為。

內(nèi)容安全NIM微服務(wù)（Content Safety NIM）使用了質(zhì)量較高的人工注釋數(shù)據(jù)源Aegis內(nèi)容安全數(shù)據(jù)集進(jìn)行訓(xùn)練，該數(shù)據(jù)集包含超過35000個(gè)人工標(biāo)記的數(shù)據(jù)樣本，由英偉達(dá)整理并開源，已經(jīng)在Hugging Face公開發(fā)布。高質(zhì)量的數(shù)據(jù)集能夠有效防止AI生成有偏見或有害的輸出結(jié)果，確?；卮鸱系赖聵?biāo)準(zhǔn)。

英偉達(dá)的企業(yè)AI模型、軟件與服務(wù)副總裁Kari Briski表示：“這是同類數(shù)據(jù)集中質(zhì)量最高的數(shù)據(jù)源之一?！?/strong>

話題控制NIM微服務(wù)（Topic Control NIM）能將對(duì)話聚焦在經(jīng)過審核的話題上，避免離題或不當(dāng)內(nèi)容。

越獄檢測NIM微服務(wù)（Jailbreak Detection NIM）增加了對(duì)越獄企圖（ 指繞過模型的安全防護(hù)措施，讓模型執(zhí)行禁止的行為）的防護(hù)，幫助在對(duì)抗性場景中保持AI的完整性。

來源：英偉達(dá)官方

由于“一刀切”的方法無法有效保護(hù)和控制復(fù)雜的代理式AI工作流，通過應(yīng)用多個(gè)輕量級(jí)專業(yè)模型作為護(hù)欄，開發(fā)者可以彌補(bǔ)在只采取較為通用的全局策略和保護(hù)措施時(shí)可能出現(xiàn)的漏洞。

可編程護(hù)欄數(shù)量的增加雖然能提升保障能力，但也會(huì)導(dǎo)致延遲有所上升，NeMo Guardrails以最小延遲提升保障能力，極具“性價(jià)比”。

• 當(dāng)護(hù)欄數(shù)量為0（僅系統(tǒng)提示）時(shí)，延遲約為0.75秒，合規(guī)性為1X（基準(zhǔn)）。

• 當(dāng)護(hù)欄數(shù)量為1時(shí)，延遲增加到約1秒，合規(guī)性提升到1.1X。

• 當(dāng)護(hù)欄數(shù)量為5時(shí)，延遲約為1.25秒，合規(guī)性達(dá)到1.5X。

增加到5個(gè)護(hù)欄，延遲僅增加約1.25秒。與增加1個(gè)護(hù)欄，延遲增加1秒對(duì)比，實(shí)現(xiàn)顯著的優(yōu)化。這表明，NeMo Guardrails在提升保障能力的同時(shí)，對(duì)延遲的影響較小，能夠在保證系統(tǒng)性能的前提下提高安全性和合規(guī)性。

給汽車、零售、電信等行業(yè)的安全、精準(zhǔn)、可擴(kuò)展的「AI護(hù)欄」

NeMo Guardrails已向開源社區(qū)開放，其NIM微服務(wù)解決企業(yè)級(jí)客戶的“后顧之憂”，使開發(fā)者能夠構(gòu)建更加安全、可信的AI智能體。智能體通過參考特定語境準(zhǔn)則做出安全、適當(dāng)?shù)幕卮?，并且加?qiáng)了對(duì)越獄企圖的抵御力度，實(shí)現(xiàn)了在汽車、金融、醫(yī)療、制造、零售等行業(yè)客戶服務(wù)中的部署。

軟件和服務(wù)解決方案提供商Amdocs推出的amAIz平臺(tái)是一個(gè)開創(chuàng)性的電信生成式AI框架，通過集成NVIDIA NeMo Guardrails，增強(qiáng)了平臺(tái)的可信AI功能，保障代理式體驗(yàn)的安全性、可靠性和可擴(kuò)展性，從而讓服務(wù)提供商能夠安全部署AI解決方案。

Amdocs技術(shù)集團(tuán)總裁兼戰(zhàn)略主管Anthony Goonetilleke表示：“像NeMo Guardrails這樣的技術(shù)對(duì)于保障生成式AI應(yīng)用的安全至關(guān)重要，能夠幫助AI安全、道德地運(yùn)行。”

專注于為汽車行業(yè)提供AI解決方案的Cerence AI，通過NVIDIA NeMo Guardrails幫助車載助手在其CaLLM系列大語言和小語言模型的支持下提供符合語境的安全交互。

Cerence AI產(chǎn)品和技術(shù)執(zhí)行副總裁Nils Schanz表示：“NeMo Guardrails可以幫助我們?yōu)槠囍圃焐炭蛻籼峁┛尚诺那榫掣兄鉀Q方案，并作出明智、嚴(yán)謹(jǐn)且無幻覺的回答?！?/strong>

在面向客戶的專業(yè)知識(shí)應(yīng)用上，更需保證AI生成式回答的安全性與可靠性。

家居裝飾零售商勞氏公司通過利用生成式AI鞏固店員的專業(yè)知識(shí)，以此讓員工在面對(duì)客戶的問題時(shí)能夠“對(duì)答如流”。這背后，是NVIDIA NeMo Guardrails將AI的回答“框定”在正確的范圍內(nèi)，確保輸出的內(nèi)容“不翻車”。

勞氏公司的數(shù)據(jù)、AI和創(chuàng)新高級(jí)副總裁Chandhu Nair則表示：“我們一直在尋找方法幫助員工為客戶提供超出預(yù)期的服務(wù)。通過部署NVIDIA NeMo Guardrails，保證了AI生成式回答的安全性與可靠性，將對(duì)話強(qiáng)行限制在相關(guān)和適當(dāng)?shù)膬?nèi)容范圍內(nèi)。”

值得一提的是，NeMo Guardrails還具備較好的開放性和可擴(kuò)展性，可集成由AI安全模型和防護(hù)提供商組成的生態(tài)系統(tǒng)，以及AI可觀察性和開發(fā)工具。支持與ActiveFence的ActiveScore（AI安全服務(wù)）集成，防止對(duì)話式AI應(yīng)用出現(xiàn)有害或不當(dāng)內(nèi)容，并提供可視化、分析和監(jiān)控功能。

區(qū)塊鏈基礎(chǔ)設(shè)施公司Hive以NIM微服務(wù)形式提供適用于圖像、視頻和音頻內(nèi)容的AI生成內(nèi)容檢測模型，通過使用NeMo Guardrails，Hive可將其模型集成到AI應(yīng)用中并進(jìn)行編排。

AI可觀測性平臺(tái)Fiddler與NeMo Guardrails集成，可增強(qiáng)其監(jiān)控功能。端到端AI開發(fā)者平臺(tái)Weights & Biases正在現(xiàn)有NIM集成組合基礎(chǔ)上，通過增加與NeMo Guardrails微服務(wù)的集成來擴(kuò)展W&B Weave的功能，以此提升AI推理能力。

此外，NeMo Guardrails還提供用于AI安全測試和漏洞掃描的開源套件NVIDIA Garak，用于LLM和應(yīng)用漏洞掃描，借助Garak，開發(fā)者可以發(fā)現(xiàn)使用LLM中的系統(tǒng)中存在的漏洞，發(fā)現(xiàn)并解決AI模型中的潛在弱點(diǎn)，提高模型的穩(wěn)健性與安全性。

目前，NVIDIA NeMo Guardrails微服務(wù)以及用于編排rail的NeMo Guardrails和NVIDIA Garak套件已向開發(fā)者和企業(yè)開放，開發(fā)者按照官網(wǎng)上的教程就可以使用NeMo Guardrails為AI客服智能體構(gòu)建AI護(hù)欄。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。