攻擊AI有多簡單？一束光就夠了。

3月11日，阿里安全專家發(fā)布了一項新研究，只要用簡單的激光筆，就可以讓AI模型不再有效。在這個研究中，他們設(shè)計了一種算法，可模擬光束對AI模型進(jìn)行“攻擊”，這種測試方法在現(xiàn)實世界中得到了驗證，且“攻擊”極易操作，對現(xiàn)有基于AI的視覺系統(tǒng)更具威脅，例如基于AI視覺的自動駕駛。

當(dāng)不同頻譜的光束打在同一個物體上，AI可能將該物體識別錯誤，比如將停車標(biāo)識識別成順利通行。難以想象，假如一個人正在飛奔的自動駕駛汽車上閉眼休息，AI將“前有危險”識別成“通行”后直接墜入萬丈懸崖；或者直接無法識別前方行人，對于行人而言將有多么危險。

“攻擊AI遠(yuǎn)非需要人為去制造對抗樣本，一支簡單的激光筆就可以。我們想通過這個研究揭示AI模型一些之前沒有被探索過的‘錯誤’，從而‘強壯’AI，讓它未來能抵擋這種‘攻擊’，也讓相關(guān)從業(yè)者重視提高AI模型的安全性?！卑⒗锇踩珗D靈實驗室負(fù)責(zé)人薛暉說道。

除了以“一束光”測試AI視覺的安全性，最近圖靈實驗室發(fā)布了多項涉及AI安全的研究成果，比如多項文字識別與檢測、利用自監(jiān)督建立視頻表征學(xué)習(xí)方法與提升半監(jiān)督行為檢測的算法框架、AI樣本對抗、偽造人臉檢測、AI對人臉與人聲匹配的雙重模態(tài)識別、視頻描述AI生成技術(shù)等囊括AI“視覺”“聽覺”“大腦”“免疫性”等多方研究，這10項涉及AI安全的新一代安全架構(gòu)研究成果均被國際頂會CVPR2021收錄。

“在AI安全前沿技術(shù)上進(jìn)行探索，一是為了讓AI更安全，二是為了讓AI助力安全，三是為解決具體社會問題尋找提效的新途徑?！毖熣f。

互聯(lián)網(wǎng)內(nèi)容越來越朝著視頻化的方向發(fā)展，每天用戶上傳和瀏覽的數(shù)量也在不斷增長，視頻中所可能存在的內(nèi)容風(fēng)險，如色情、恐怖、暴力等信息也對內(nèi)容安全造成威脅，安全技術(shù)人員有必要通過機器來對視頻內(nèi)容進(jìn)行理解。

因此，阿里安全高級算法工程師陳達(dá)與阿里安全實習(xí)算法工程師鄧超睿一起開展了自頂向下的密集型視頻描述生成研究，通過算法對給定視頻自動生成對視頻內(nèi)容進(jìn)行描述的一段文字，提前過濾不良內(nèi)容，守護(hù)互聯(lián)網(wǎng)清朗健康環(huán)境。

書樂是阿里安全圖靈實驗室的一名女性算法專家，她認(rèn)為算法應(yīng)該是有“

溫度”“柔軟”的，希望能在保護(hù)大眾隱私的基礎(chǔ)上，更加高效地解決機場、火車站、車庫、游樂場等環(huán)境下走失兒童、老人的尋找問題。

以往行人重識別模型在實際部署中，面臨著訓(xùn)練數(shù)據(jù)的采集場景與模型部署場景存在差異的問題，比如模型地訓(xùn)練場景是機場，但在火車站可能不好用，模型精度會降低。因此，書樂的研究集中在提升AI模型的泛化能力上，以適用于不同的部署場景，且不用識別人臉，通過衣著、步態(tài)等，即可提升找尋效率。

高級算法專家越豐十分關(guān)注AI對抗樣本的問題，高質(zhì)量的DeepFake人臉偽造視頻更容易被制作并引發(fā)不良影響，而真實場景的偽造視頻數(shù)據(jù)分布和視頻質(zhì)量參差不齊，他們正在通過尋找一個更魯棒的方法提升檢測AI檢測算法的實用性。

“安全部署要前置，無論是AI本身的安全，還是AI可以助力解決的安全問題與社會問題，這就是從源頭構(gòu)筑安全的核心理念?！毖煴硎荆Ｍ趶V闊的AI安全研究的新領(lǐng)域中，能有更多新生力量加入，迸發(fā)出有創(chuàng)造性和想象力的研究，最終應(yīng)用到人們的生活中，真正服務(wù)大眾，解決難題。