近年,人工智能於企業的應用經歷了快速增長。根據國際數據資訊有限公司(International Data Corporation)今年二月發表的預測,世界各地的企業計劃在 2022年投放於人工智能方案(例如硬件、軟件、服務等)的支出將會增加19.6%,達4,328億美元,到2023年更會超過5,000億美元。作為本地資訊保安專家,香港生產力促進局轄下的香港電腦保安事故協調中心(HKCERT)表示,隨著人工智能的應用變得多樣化,大家必須更加關注其相關的安全風險。否則,最終可能弊多於利。

人工智能系統之網絡保安風險

對比傳統系統,人工智能系統具有更深層次、更廣泛的潛在網絡保安風險:

人工智能建基於大量數據和計算,若這些數據中包含敏感資料,一旦洩漏便會導致敏感資料被披露。
收集的數據之收集可能來自多個來源,當中亦有交叉洩露的危險。例如訓練一個疾病偵測模型,需向多間醫院收集病人的生理特徵作分析,收集數據時需確保醫院間不能互相存取病人資料。
若受惡意攻擊,影響範圍更廣。如多個服務使用同一模型,當模型受到攻擊篡改,則所有使用該模型的服務皆會受到波及。
無論是人工智能的使用者與否,人工智能所帶來的網絡保安風險都可能影響大家。在此以「保安漏洞」和「濫用」兩方面,簡單探討人工智能對不同人士帶來的影響。

 保安漏洞

  • 成員推斷攻擊 (Membership Inference Attack):是對機器學習模型(下稱”目標模型”)的輸出進行逆向工程 (Reverse Engineering),從而推斷出用作訓練目標模型的數據。方法是按照目標模型的結構以及與訓練數據集相似的數據,訓練一些影子模型 (Shadow Model),使得此模型與目標模型的行為表現相似。最後,以影子模型和習成學習 (Ensemble Learning) 建構一攻擊模型,用以判斷某一輸入是否在訓練數據集內(圖一)。此攻擊的原理是因目標模型對已見和未見的輸入有不同的表現,如置信度 (Confidence Level),故只需觀察模型的輸出,便有可能推斷某一輸入數據是否在訓練數據集內。
香港電腦保安事故協調中心, 教路, 採用良好網絡, 保安, 讓人工智能成友非敵
圖片:2017 IEEE Symposium on Security and Privacy
圖一:以影子模型和習成學習建構一攻擊模型

此類型攻擊較容易針對表格類數據 (Tabular Data) ,如銀行和醫療資訊等。美國康奈爾大學一份研究報告指出,使用成員推斷攻擊,能從德州的醫院的病人紀錄中,推斷出百分之60的數據。這些數據包括診斷,手術類型,受傷原因等敏感資料。

  • 對抗性干擾 (Adversarial Perturbation):對抗性干擾是指刻意提供錯誤數據以干擾機械學習模型之判斷。其基本原理為透過對數據作微小更動,增加目標模型之誤差。具體手法有二:
  • a)     閃避攻擊(一次性衝擊)- 它通過引入無意義的輸入(即噪聲),引導模型對某個目標數據類別進行錯誤分類,以獲得攻擊者的期望標籤。 這種輸入篡改可能不明顯,但在欺騙學習模型方面仍然非常有效(圖二)。
香港電腦保安事故協調中心, 教路, 採用良好網絡, 保安, 讓人工智能成友非敵
圖片:conference paper at ICLR 2015
圖二:閃避攻擊示範
  •  中毒襲擊(重大影響)- 它引入了誤導性的訓練數據,使模型誤分類。攻擊者在數據學習階段破壞了 AI 模型,並將操縱的數據注入其中,目的是破壞模型並在未來產生攻擊者所需的輸出。它具有嚴重的影響,因為如果不被發現,它會嚴重影響模型。攻擊若不被發現,能持續影響目標模型之判斷。

    Bosch AI 的研究指出,透過對一幅有行人的街景圖加入噪音,即可令圖像分辨模型無法偵測行人(圖三)。如果以這種方式攻擊自動駕駛系統,汽車可能會撞向行人並造成嚴重的傷亡。

香港電腦保安事故協調中心, 教路, 採用良好網絡, 保安, 讓人工智能成友非敵
圖片: Cityscapes Dataset
圖三:模型對原圖之分析(右上) vs 添加了噪音後對圖像之分析(右下)

 人工智能的濫用

深度偽造(深偽,Deepfake)- 深度偽造是深度學習 (Deep Learning) 和偽造的混成詞。泛指以人工智能製作偽造訊息,如影像和聲音。常見於影片,影片中的人臉將被換成另一人面。這種技術亦可被用於偽造人聲,只需輸入字句便能假借受害者之聲線讀出,意味著製作深偽影片毋須有配音員。深偽技術現在更發展到可將語音和影片中人的嘴唇同步。深偽的主要學習演算法有自編碼器 (Autoencoder) 和生成對抗網絡 (Generative Adversarial Network)。近年來,進行深度偽造的技術門檻逐漸降低,在Github上有多個開源軟件能用作製作深偽影片。深偽技術雖然有其娛樂價值,如製作電影和網絡迷因 (meme),但亦可被用以勒索,製作色情影片,散播謠言,甚至繞過生物特徵認證,盜取他人身份 。

例如2022俄羅斯烏克蘭戰爭中,兩國總統普京及澤連斯基的肖像亦被用作製造深偽影片以傳播謠言。

保安建議

要處理這些風險,可從技術的方向入手,如驗證數據,使用防偽工具,避免學習模型擬合過度等。一些現有的網絡保安措施亦有助避免這些問題,如數據的保密在人工智能的發展上必不可少。即使不是科技達人,用戶仍然有一些措施可以保護自己,如加深對這些科技的認知和不盲目相信網上資訊。

  1. 選擇適合的模型,以避免成員推斷攻擊 - 成員推斷攻擊憑著模型對已見和未見的數據有不同表現,推斷出某一數據是否屬於訓練數據集。若一訓練模型的分析過份貼近已見數據,即使能準確地標籤已見過的數據,仍然無法良好地標籤未曾見過的數據,此現象在統計學中稱為擬合過度 (Overfitting),擬合過度的模型對於處理已見和未見數據的準確度落差甚大,故容易受成員推斷攻擊。若要避免擬合過度,便要確保選擇適合的模型,切忌只是以標籤訓練數據的準確度衡量模型表現。一些準確度的驗證方法,如k折交叉驗證,能使模型準確度更貼近其表現,避免誤選擬合過度的模型。訓練模型時,亦要確保數據充足以及經過整理,以及定期檢查誤差值有否隨訓練時間而上升,及早暫停訓練。
  2. 更新學習模型前驗證數據,以避免對抗性干擾 - 現時許多使用人工智能的服務,亦會以用戶反饋作為訓練數據調整模型,意味著用戶的行動能改變模型的行為,使攻擊者有機可乘。故在更新學習模型時要驗證這些新數據的真偽,亦可限制每位用家的反饋輸入數量,以避免部分用家決定學習模型的改變去向。
  3. 改善特權存取管理制度 - 限制員工和用戶對訓練數據的存取權,從而避免訓練數據遭到修改。
  4. 使用防偽工具避免深度偽造 (Deepfake) - 現時有許多防偽工具能幫助我們辨認出深偽影片。例如在原照片中加入電子水印,若影片遭到深度偽造,電子水印將會改變,因此可以更容易識別合成影片。暫時,許多Deepfake影片仍未完美,憑肉眼觀察亦可能發現是深偽。
  5. 加強對深偽的認知 - 除了要有相應的科技識別和遏止深度偽造,培養對深偽影片的警惕和意識亦必不可少。例如了解深偽影片能帶來的危害和損失,以及提升媒體素養:觀看新聞時要取用可信的媒體,多作比較不同的消息來源、時常驗證不盲目信任。 

按此免費訂閱《香港財經時報》HKBT 新聞快訊