成本

 

• AIGC 时代对于冷热储存的呼唤

 

成本一直是向量数据库获得更广泛使用的最大阻碍之一，这个成本来自两点：

 

• 储存，绝大多数向量数据库为了保证低延迟，需要把数据全量缓存到内存或者本地磁盘。在这个动辄百亿量级的AI 时代，意味着几十上百 TB 的资源消耗。

   

• 计算，数据需要划分成许多小片段来满足工程上分布式支持大规模数据集的需求。对于每个分片需要单独检索再做规避，带来了较大的查询计算放大问题。百亿级的数据如果按 10G 分片的话，会有一万个分片，也就意味着计算放大了一万倍。

 

 

 

 

主流 LLM 的响应时间，图源：https://artificialanalysis.ai/models

 

而在 AIGC 带来的 RAG 浪潮中，单个 RAG 用户（或者是 ToC 平台的单个 tenant）对于延迟的敏感度都极低。原因是相较于向量数据库几毫秒到几百毫秒的延迟，作为链路核心的大模型的延迟普遍超过秒级。加之云端对象储存的成本远远低于本地磁盘和内存，人们越来越需要一种技术，可以：

 

<