機器通過處理從傳感器收集的數(shù)據(jù)來學習的能力，是自動駕駛汽車，醫(yī)療設備和許多其他新興技術的基礎。普林斯頓大學的研究人員發(fā)現(xiàn)，這種學習能力使系統(tǒng)容易受到黑客的攻擊。

在最近的一系列論文中，一個研究團隊研究了應用于人工智能(AI)的對抗策略如何例如欺騙交通效率系統(tǒng)導致僵局或操縱與健康相關的AI應用程序以揭示患者的私人醫(yī)療狀況。歷史。作為這種攻擊的一個例子，該團隊將駕駛機器人對道路標志的感知從限速更改為“停止”標志，這可能導致車輛以高速公路速度危險地剎車。在其他示例中，他們將停車標志更改為多種其他交通指示。

普林斯頓大學電氣工程系的首席研究員兼副教授Prateek Mittal說：“如果機器學習是未來的軟件，那么我們將成為確保它安全的非?；镜钠瘘c。”“要使機器學習技術發(fā)揮其全部潛能，我們必須了解在對手面前機器學習的工作方式。這是我們面臨的巨大挑戰(zhàn)。

就像軟件容易被計算機病毒或通過詐騙者通過網(wǎng)絡釣魚和其他破壞安全性的手段成為目標的用戶被黑客和感染一樣，基于AI的應用程序也具有自身的漏洞。然而，適當保障措施的部署滯后。到目前為止，大多數(shù)機器學習開發(fā)都發(fā)生在良性，封閉的環(huán)境中-與現(xiàn)實世界截然不同。

米塔爾(Mittal)是了解新興對抗性機器學習漏洞的先驅。從本質上講，這種攻擊會導致AI系統(tǒng)破壞學習過程，從而產(chǎn)生意想不到的，可能是危險的結果。米塔爾(Mittal)的小組在最近的一系列論文中描述并演示了三種廣泛的對抗性機器學習攻擊。

很好地毒化數(shù)據(jù)

第一次攻擊涉及惡意代理將偽造的信息插入AI系統(tǒng)正在用來學習的數(shù)據(jù)流中-這種方法稱為數(shù)據(jù)中毒。一個常見的例子是大量用戶的電話報告交通狀況。此類眾包數(shù)據(jù)可用于訓練AI系統(tǒng)以開發(fā)模型，以更好地實現(xiàn)自動駕駛汽車的總體路線選擇，從而減少擁堵和燃油浪費。

米塔爾說：“對手可以在手機與蘋果和谷歌等實體之間的通信中簡單地注入虛假數(shù)據(jù)，而現(xiàn)在它們的模型可能會受到損害。”“您從損壞的數(shù)據(jù)中學到的任何東西都將是可疑的。”

米塔爾(Mittal)的小組最近通過這種簡單的數(shù)據(jù)中毒展示了一種新的升級方法，他們稱之為“模型中毒”。在AI中，“模型”可能是一臺機器根據(jù)對數(shù)據(jù)的分析而形成的關于世界某些部分工作方式的一套想法。由于隱私問題，一個人的手機可能會生成自己的本地化模型，從而可以對個人數(shù)據(jù)進行保密。然后將匿名模型共享并與其他用戶的模型合并。博士Arjun Nitin Bhagoji表示：“越來越多的公司正在向分布式學習發(fā)展，在這種學習中，用戶不直接共享數(shù)據(jù)，而是使用數(shù)據(jù)訓練本地模型。米塔爾實驗室的學生。

但是對手可以輕描淡寫。對結果感興趣的個人或公司可能會欺騙公司的服務器，以使其模型的更新權重于其他用戶的模型。Bhagoji說：“對手的目的是確保他們選擇的數(shù)據(jù)被分類在他們想要的類別中，而不是真正的類別。”

6月，Bhagoji與來自IBM Research的兩名研究人員合作，在加利福尼亞州長灘舉行的2019年國際機器學習大會(ICML)上發(fā)表了有關該主題的論文。本文探索了一種基于圖像識別的測試模型，以對圖片中的人是穿著涼鞋還是運動鞋進行分類。雖然這種性質的誤分類聽起來是無害的，但這是不道德的公司可能會采取的不公平的欺騙手段，以使其產(chǎn)品優(yōu)于競爭對手。

米塔爾說：“在對抗性AI研究中，我們需要考慮的對手種類繁多，從試圖以金錢勒索人或公司的個人黑客到試圖獲取商業(yè)優(yōu)勢的公司，再到尋求戰(zhàn)略優(yōu)勢的國家/地區(qū)級對手，”還與普林斯頓大學信息技術政策中心相關。