作為Protect AI的huntr漏洞懸賞計劃的一部分，近34個開源人工智能(AI)和機器學習(ML)工具中的漏洞被公開。

這些發現包括三個關鍵漏洞：其中兩個位于Lunary AI開發者工具包中，另一個則位于名為Chuanhu Chat的ChatGPT圖形用戶界面(GUI)中。10月的漏洞報告還列出了18個高嚴重性漏洞，涉及從拒絕服務(DoS)到遠程代碼執行(RCE)等各種威脅。

Protect AI安全研究員Dan McInerney和Marcello Salvati表示：“通過我們自己的研究和huntr社區的幫助，我們發現用于構建為AI應用提供動力的機器學習模型的供應鏈工具面臨著獨特的安全威脅。這些工具是開源的，每月被下載數千次，用于構建企業級AI系統。”

Protect AI的報告還指出了LocalAI(一個可在消費級硬件上本地運行AI模型的平臺)、LoLLMs(各種AI系統的Web UI)、LangChain.js(一個用于開發語言模型應用的框架)等多個平臺中的漏洞。其中，Lunary AI的漏洞可能導致身份驗證被操縱，影響外部用戶。

周二通過huntr計劃公布的兩個最嚴重的漏洞，均存在于Lunary AI的大型語言模型(LLM)聊天機器人開發者生產工具包中。根據Lunary AI網站，該開源工具包被“公司的2500多名AI開發者”使用。

這兩個漏洞被追蹤為CVE-2024-7474和CVE-2024-7475，兩者的CVSS評分均為9.1。

CVE-2024-7474是一個不安全的直接對象引用(IDOR)漏洞，由于對相關API端點的請求缺乏適當的訪問控制檢查，可能導致已認證用戶能夠查看或刪除任何其他外部用戶的用戶記錄。如果攻擊者知道另一個用戶的用戶ID，他們可以在調用這些API端點時將自己的用戶ID替換為受害者的用戶ID，從而能夠查看和刪除用戶記錄，就像這些記錄是他們自己的一樣。

CVE-2024-7475也是由于訪問控制不當，這次是關于對安全斷言標記語言(SAML)配置端點的請求。該漏洞使攻擊者能夠向該端點發送精心構造的POST請求，以惡意更新SAML配置，從而導致身份驗證過程被操縱，并可能引發欺詐性登錄。

Lunary已經解決了這兩個漏洞，升級到Lunary 1.3.4版本即可修復。

此外，Protect AI周二發布的報告中還披露了另一個關鍵漏洞，即Chuanhu Chat用戶上傳功能中的路徑遍歷漏洞，由于某些輸入未經適當清理，該漏洞可能導致RCE、任意目錄創建以及CSV文件信息泄露。該漏洞被追蹤為CVE-2024-5982，CVSS評分為9.1。

通過創建一個名稱包含絕對路徑的用戶，并通過Chuanhu Chat界面上傳一個包含cron作業配置的文件，即可利用CVE-2024-5982實現RCE。此外，還可以通過“get_history_names”函數創建任意目錄，并通過“load_template”函數泄露CSV文件的第一列。Protect AI報告了這些額外的修改用戶請求。

Chuanhu Chat項目在GitHub上擁有超過15,200個點贊和2,300個分支。CVE-2024-5982已在Chuanhu Chat 20240918版本中修復。

LocalAI是GitHub上另一個受歡迎的開源AI項目，擁有超過24,000個點贊和1,900個分支。huntr社區在該平臺中發現了多個漏洞，包括一個被追蹤為CVE-2024-6983的RCE漏洞和一個被追蹤為CVE-2024-7010的計時攻擊漏洞。

CVE-2024-6983的CVSS評分為8.8，它使攻擊者能夠上傳一個包含指向攻擊者控制服務器上惡意二進制的統一資源標識符(URI)的惡意配置文件。當目標系統處理該配置文件時，該二進制文件將被執行。

CVE-2024-7010的CVSS評分為7.5，它可能使攻擊者發動計時攻擊，這是一種測量服務器在處理API密鑰時的響應時間的側信道攻擊類型。如果攻擊者設置一個腳本，向服務器發送多個API密鑰猜測，并記錄每個密鑰的響應時間，他們最終可能預測出正確的密鑰，從而獲得未經授權的訪問權限。

通過升級到LocalAI 2.19.4版本可以修復CVE-2024-6983，而要修復CVE-2024-7010，則需要升級到2.21版本。