AI模型的快速向前奔跑讓我們看到了AI的無限可能性，但也顯示了AI在虛假信息、深度偽造和黑客攻擊方面的潛在威脅。

根據(jù)安全分析平臺Netenrich的報道，近日，一款名為FraudGPT的AI工具在暗網(wǎng)上流通，并被犯罪分子用來編寫釣魚攻擊電子郵件和開發(fā)惡意程序。

在銷售頁面上，黑客表示，該工具可以用來編寫惡意程序，并建立“一系列殺毒軟件無法檢測惡意程序”、對網(wǎng)站漏洞進行檢查，自動進行密碼撞庫等，并聲稱“目前該惡意工具已售出3000多份”。

01 FraudGPT惡意AI工具：可以一鍵生成多種黑客攻擊代碼

據(jù)悉，F(xiàn)raudGPT的運行模式是通過制作一封電子郵件，誘導收貨人以高度可信的方式點擊提供的惡意鏈接。其主要功能包括:

建立釣魚網(wǎng)站頁面

FraudGPT可以生成看似真實的釣魚攻擊電子郵件、短信或網(wǎng)站，誘騙客戶泄露登錄憑證、財務詳細信息或個人數(shù)據(jù)等敏感信息；

找出最容易受害的目標

聊天機器人可以模仿人類的對話，與毫無戒心的用戶建立信任，使他們在不知不覺中泄露敏感信息或實施有害操作；

建立不能檢測惡意程序

FraudGPT可以建立欺騙性消息，誘導用戶點擊惡意鏈接或下載有害配件，從而導致設備感染惡意程序；

寫作欺詐短信，郵件

人工智能驅動的聊天機器人可以幫助黑客建立欺詐性文件、發(fā)票或支付請求，使個人和企業(yè)成為金融詐騙的受害者。

據(jù)報道，F(xiàn)raudGPT的名字是 "CanadianKingpin" 開發(fā)者提供。

它主要基于GPT-3的大型語言模型。經(jīng)過訓練，它可以生成符合邏輯和事實的欺詐性文本。FraudGPT一旦付費購買，就可以幫助罪犯成功進行釣魚攻擊和詐騙。

Canadiankingpin在發(fā)布FraudGPT后，還建立了自己的廣播頻道，宣布將提供包括銷售電子郵件線索、信用卡CVV碼等在內的其他欺詐服務。

按照Canadiankingpin的描述，他已經(jīng)通過了EMPIRE、WHM、TORREZ、多個暗網(wǎng)市場的供應商認證，包括ALPHABAY。

但是，由于這些暗網(wǎng)市場非常隱秘和不透明，目前Canadiankingpin的身份仍然是一個可疑的群體，調查者只找到了Canadiankingpin的TikTok帳戶和Gmail郵箱，同樣的id。

另外一個令人沮喪的消息是，經(jīng)過近一周的研究，Netrich并沒有破解FraudGPT背后的大語言模型。

雖然FraudGPT發(fā)布不到兩個星期，但一個顯而易見的事實是，這種“頂級AI工具”已經(jīng)開始被用于實際犯罪行為。

Canadiankingpin與一些訂閱客戶分享了許多基于FraudGPT的黑客活動，這些活動已經(jīng)在一些銷售FraudGPT的暗網(wǎng)上實現(xiàn)。

根據(jù)Netrich的統(tǒng)計，F(xiàn)raudGPT從7月22日開始在暗網(wǎng)市場和Telegram頻道流通，訂閱費用為每月200美元，每年1700美元。與ChatGPT相比 Plus每月訂閱20美元，價格是10倍。

到目前為止，暗網(wǎng)上已經(jīng)有超過3000條確定的訂閱信息和評論。

02 惡意AI攻擊工具：降低網(wǎng)絡詐騙的進入門檻

實際上， AI 該工具降低了網(wǎng)絡犯罪分子的進入門檻， FraudGPT 這不再是第一個案例。

即使是Claude、ChatGPT 、Bard和其他AI提供商會采取一些措施來防止他們的技術被用于不良目的，但是隨著開源模型的興起，很難遏制罪犯的惡意行為。

7 月初，基于GPT-J開發(fā)的開源大語言模型，WormGPT也引起了關注，WormGPT使用了大量的惡意程序進行練習和微調。

據(jù)報道，WormGPT擅長使用Python代碼進行各種黑客攻擊，例如：生成木馬，惡意鏈接，模仿網(wǎng)站等，它在創(chuàng)建欺詐信息和釣魚郵件等任務中所表現(xiàn)出的“非凡”能力令人恐懼。

但是相比之下，F(xiàn)raudGPT在功能多樣性和惡意程序編寫方面的作用更加強大。

事實上，除上述FraudGPT外，、為惡意活動而生的聊天機器人，如WormGPT。

大型語言模型本身隱藏的風險不斷給安全從業(yè)者帶來挑戰(zhàn)。除了眾所周知的幻覺問題，大型軟護欄也成為網(wǎng)絡安全的一大噩夢。

上個月ChatGPT、Bard等聊天機器人出現(xiàn)的“奶奶漏洞”證明了這樣一個事實。只有通過提醒這些聊天機器人扮演客戶已故的奶奶，他們才能在講睡前故事的過程中，甚至手機的IMEI密碼或Windows激活密鑰，欺騙他們泄露大量有限的信息。

此外，CMU和人工智能安全中心的研究人員還發(fā)現(xiàn)了另一種通用的方法，只需添加一系列具體的無意義token，即可生成prompt后綴。

這個后綴一旦加入到prompt中，任何人都可以通過對抗攻擊來破解大模型的安全措施，從而產(chǎn)生無限的有害內容。

盡管在過去幾個月里，OpenAI、世界頂級科技公司，如谷歌，都在努力為自己開發(fā)的大模型設計更多更完善的限制措施，以確保模型能夠在安全穩(wěn)定的情況下工作。

但是很明顯，到目前為止，還沒有人能完全避免類似問題的發(fā)生。

03 在犯罪門檻降低的情況下，公司怎樣預防？

毫無疑問，無論是WormGPT ，或者FraudGPT ，這一極具威脅性的AI工具，正在“賦能”促進網(wǎng)絡詐騙和詐騙。

“這項技術將降低釣魚攻擊電子郵件和其他詐騙的門檻，”安全分析平臺Netenrich曾經(jīng)說過。

隨著時間的推移，罪犯們將找到更多的方法來利用我們發(fā)明的工具來提高他們的犯罪能力。

如果AI工具的淘氣表面被淋漓盡致地呈現(xiàn)出來，再加上黑客攻擊「低門檻」，強化防御戰(zhàn)略尤為重要。

所以，有專家針對個人和企業(yè)，提出了一些可以采取的關鍵措施，以確保免受傷害。 類似AI工具的FraudGPT和威脅。

提高對網(wǎng)絡通信的警惕

不要點擊不熟悉的網(wǎng)頁鏈接和電子郵件，安裝未知的軟件。同時，需要驗證的意外電子郵件，涉及敏感信息和金融投資，應通過官方渠道驗證。

及時掌握網(wǎng)絡安全措施

利用信譽良好的防病毒程序，及時更新安全軟件，安裝補丁，防止?jié)撛谕{。與此同時，還要了解最新的網(wǎng)絡安全實踐，增強黑客攻擊的防御意識。

對未知鏈接和配件保持警惕

不要點擊未知來源鏈接或打開配件。FraudGPT可以生成指向網(wǎng)絡釣魚網(wǎng)站的真實URL。因此，在點擊任何鏈接之前，驗證發(fā)件人的身份尤為重要。

對員工進行教育和培訓

對企業(yè)而言，對網(wǎng)絡安全實踐良好的員工進行培訓尤為重要。確保員工了解潛在的威脅，知道如何識別異常活動。如員工遇到任何異常消息，應立即向IT部門報告。

04 結語

隨著模型能力的不斷提高，AI大模型的快速發(fā)展給許多領域帶來了積極的影響，同時也在惡意活動中得到了應用，破壞力日益增強。

但是無論是FraudGPT、事實上，WormGPT等惡意程序的出現(xiàn)并不是為了告訴我們AI有多危險，而是為了告訴我們AI領域存在的許多問題，比如幻覺和越獄。

就像Rakesh一樣，網(wǎng)絡安全專家 在一個關于FraudGPT的分析博客中，Krishnan寫道：技術是一把雙刃劍，網(wǎng)絡犯罪分子利用生成AI的能力，我們也可以利用這種能力來突破他們提出的挑戰(zhàn)。

技術作惡者不會停止創(chuàng)新，我們也不會。

令人欣慰的是，目前國內外政府和科技企業(yè)都在積極完善相關的人工智能監(jiān)管政策和相關法規(guī)。

7月中旬，國家網(wǎng)信辦聯(lián)合六部門發(fā)布了《生成式人工智能服務管理暫行辦法》；7月底，美國7家AI巨頭也與白宮達成協(xié)議，將水印添加到AI生成內容中。

最近，許多AIGC應用程序，包括數(shù)據(jù)收集和使用不合規(guī)性，被要求在蘋果商店下架，這也證明了監(jiān)管措施正在發(fā)揮積極作用。

雖然人工智能在技術和控制方面還有很長的路要走，但我相信，隨著各行各業(yè)的共同努力，很多問題很快就會得到解決。

本文來自微信微信官方賬號“科技云報道”（ID：ITCloud-BD），作者：科技云報道，36氪經(jīng)授權發(fā)布。

本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉載請在文中注明來源及作者名字。

免責聲明：本文系轉載編輯文章，僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com