在生产环境部署过LLM的人都知道模型权重只是问题的一半，另一半是KV cache：存储注意力状态的运行时内存，让模型在生成token时不必从头开始重算。能不能管好这块内存决定了系统是一个卡顿的demo还是一个可用的推理服务。 本文梳理KV cache管理经历的5个时代 ...
2026年3月，谷歌研究院发布TurboQuant压缩算法技术，迅速在存储与AI基础设施领域引发热议。该算法能够压缩KV缓存，实现内存占用降低6倍、推理速度提升8倍的潜力。这一技术突破的背后，折射出大模型推理时代最核心的硬件瓶颈：KV Cache正成为制约AI部署规模的 ...
环球老虎财经 on MSN
SK海力士、三星如何蚕食英伟达的利润?
AI推理时代，存储成本跃升为算力核心，SK海力士、三星等巨头正通过HBM及SSD分食英伟达利润。
2026-03-26 23:31:06 出处：量子位 作者：梦晨 编辑：若风 评论(0) 复制 纠错 两家存储芯片巨头股价大跌，没有财报暴雷，没有供应链断裂，只是谷歌展示了一篇即将在ICLR 2026正式亮相的论文。 谷歌研究院推出TurboQuant压缩算法，把AI推理过程中最吃内存的KV cache压缩 ...
你输入个几百字，它输出就得慢慢挤牙膏。 是模型本身算力不够吗？ 不全是。 这里面其实藏着一个非常基础的效率问题，而解决这个问题的核心技术，就是今天要跟大家聊明白的 KV Cache。 1. 先铺垫一下：这些基础术语你得懂 聊KV Cache之前，得先把一些最基础的 ...
Nvidia researchers have introduced a new technique that dramatically reduces how much memory large language models need to track conversation history — by as much as 20x — without modifying the model ...
FREMONT, Calif.--(BUSINESS WIRE)--Penguin Solutions, Inc. (Nasdaq: PENG), the AI factory platform company, today announced the industry's first production-ready KV cache server that utilizes CXL ...
Google researchers have published a new quantization technique called TurboQuant that compresses the key-value (KV) cache in large language models to 3.5 bits per channel, cutting memory consumption ...
DDN added new capabilities to the Lustre platform it manages with Google Cloud, including means to share key-value (KV) cache to boost AI inference workloads. Unveiled at Google’s annual Next event, ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果