一、漏洞詳情
vLLM是一個快速且易于使用的LLM推理和服務(wù)庫,Mooncake是開源的大模型推理架構(gòu),采用以KVCache為中心的分布式架構(gòu),通過分離預(yù)填充和解碼集群,充分利用GPU集群中未充分利用的CPU、DRAM和SSD資源,實現(xiàn)高效的KVCache緩存。
當(dāng)vLLM配置為使用Mooncake時,其使用基于pickle的序列化,并通過不安全的ZeroMQ套接字進行傳輸,受影響的套接字被設(shè)置為監(jiān)聽所有網(wǎng)絡(luò)接口,攻擊者可能利用該漏洞訪問ZeroMQ套接字并實施攻擊。
建議受影響用戶做好資產(chǎn)自查以及預(yù)防工作,以免遭受黑客攻擊。
二、影響范圍
0.6.5 <= vLLM < 0.8.5
三、修復(fù)建議
官方已發(fā)布修復(fù)方案,受影響的用戶建議及時更新至安全版本0.8.5。