全球首个基于 Subquadratic Sparse Attention (SSA) 架构的前沿 LLM ~「SubQ」，实现 12M token 的实用上下文窗口，同时在效率上大幅领先传统 Transformer，来自 @subquadratic 技术核心突破：SSA 机制传统 Transformer 的标准注意力是全对全（all-pairs），计算复杂度为 O(n²)，导致长上下文成本爆炸。大多数 token 间的交互实际无意义，却仍需全量计算。SSA 的创新在于内容依赖的选择（content-dependent selection）：· 每个 query 只动态挑选真正相关的 key 位置进行注意力计算。· 实现线性缩放（linear scaling）：计算与内存成本随序列长度线性增长，而非二次方。· 同时保留内容驱动路由与任意位置精确检索能力，避免了固定模式稀疏注意力（位置无关）、RNN/SSM（状态压缩丢失细节）或 DeepSeek DSA（selector 仍为二次方）等方案的权衡。实测效果（B200 GPU + FlashAttention-2 对比）：· 128K to
1:24
全球首个基于 Subquadratic Sparse Attention (SSA) 架构的前沿 LLM ~「SubQ」，实现 12M token 的实用上下文窗口，同时在效率上大幅领先传统 Transformer，来自 @subquadratic 技术核心突破：SSA 机制传统 Transformer 的标准注意力是全对全（all-pairs），计算复杂度为 O(n²)，导致长上下文成本爆炸。大多数 token 间的交互实际无意义，却仍需全量计算。SSA 的创新在于内容依赖的选择（content-dependent selection）：· 每个 query 只动态挑选真正相关的 key 位置进行注意力计算。· 实现线性缩放（linear scaling）：计算与内存成本随序列长度线性增长，而非二次方。· 同时保留内容驱动路由与任意位置精确检索能力，避免了固定模式稀疏注意力（位置无关）、RNN/SSM（状态压缩丢失细节）或 DeepSeek DSA（selector 仍为二次方）等方案的权衡。实测效果（B200 GPU + FlashAttention-2 对比）：· 128K to
已浏览 1220.7万 次2 周前
x.commeng shao
08-SubAagent子代理的使用方法 | 技术胖系列视频 | Vibe Coding
7:02
08-SubAagent子代理的使用方法 | 技术胖系列视频 | Vibe Coding
已浏览 3970 次2 个月之前
bilibili技术胖
子程序经典课程系列第一讲-第一节
15:01
子程序经典课程系列第一讲-第一节
已浏览 689 次1 个月前
bilibiliABAQUS高级工程师
09_51单片机的SUBB指令(带借位减法运算)
17:30
09_51单片机的SUBB指令(带借位减法运算)
已浏览 133 次2 周前
bilibili木西微电子
Excel教學 VBA - 003 - Excel教學 VBA教學 Sub 子程序 程式 過程 參數 無參數子程序 有參數子程序 | VBA最重要Sub過程 子
5:47
Excel教學 VBA - 003 - Excel教學 VBA教學 Sub 子程序 程式 過程 參數 無參數子程序 有參數子程序 | VBA最重要Sub過程 子
已浏览 281 次2 个月之前
bilibili超级防抖
60天Python零基础入门（32-1/60）：subprocess模块
27:25
60天Python零基础入门（32-1/60）：subprocess模块
已浏览 603 次2020年7月27日
YouTube学点编程吧
计算机系统基础（一）：程序的表示、转换与链接
23:10
计算机系统基础（一）：程序的表示、转换与链接
已浏览 9.6万 次2017年8月8日
bilibili11114525
5:17
闲谈/ sub是怎么起效的（工作原理）的以及使用建议
已浏览 3118 次10 个月之前
bilibiliBeautifulBoss
17:29
[低代码] UI不够好看？用Subframe来实现生产级UI
已浏览 2.7万 次2024年12月10日
bilibili傻瓜学AI
{sub 强制注入天才基因}·系统强制扩容_脑电路 神经重构 附加小脸欧骨
已浏览 3211 次8 个月之前
bilibilibon4e
2:39
28. submap在独立数据上验证无监督分子亚型
已浏览 1234 次2023年5月11日
zhihu.com学术渣在欧洲
我所有做sub的全部公式(给个字幕吧，要不然活不了)
已浏览 1.4万 次2023年12月26日
bilibili在下搞笑女
1:44:41
【全网首发】程序员阅读源码的降维打击法！掌握技巧后，可以破解任何框架底层秘密！
已浏览 3.3万 次2025年3月25日
bilibili我是程序员周瑜
2:30
成块！结构化编程的基础！同一段程序的反复调用。大型项目的必备！
已浏览 7004 次2023年1月18日
bilibili贝利撒留执政官
1:36
汇编语言sub指令介绍
已浏览 724 次3 个月之前
bilibili94CTO
2:13
Two subdivision modifier workflow【硬表面外壳双subd修改器工作流】中英双语字幕
已浏览 5016 次2023年5月23日
bilibili无相CG艺术
14:34
德叔生物模型（4）：基因转录模型（编码区非编码区/外显子内含子/启动子终止子）
已浏览 11.3万 次2020年11月16日
bilibili李林生物
3:47
全网最详细sub原理到底是什么？第二期
已浏览 13.6万 次2023年8月6日
bilibili爽文女主开挂记666
3:23
【sub/Shifting】编码器>>>天命所归
已浏览 1.7万 次2024年8月26日
bilibiliTheSource频道组
25:42
【B站独家】这绝对是编码实战把CPU讲得最透彻的一套教程！零基础手写实战，从汇编到手写OS再到Linux驱动，从此在计算机世界畅通无阻！
已浏览 1.6万 次11 个月之前
bilibili子牙老师
53:24
【新奥尔良大学】系统编程概念【全18讲已完结，2024版-双语字幕】
已浏览 962 次2 个月之前
bilibili无为斋主
用CC Skills SubAgent打造一套自动化改写工作流，产出质量碾压Gemini ！
已浏览 4250 次2 个月之前
bilibili在下小曾o
2:01:42
利用子程序和中断程序处理复杂的逻辑编程（5课时）
已浏览 4125 次2022年10月10日
bilibili工控猿
12:19
「 vanvan 」关于sub你需要知道的真相，是科学还是玄学骗局
已浏览 1.5万 次2024年11月8日
bilibiliVanVan_Lucky
20:38
【硬核】90%的人不知道函数调用怎么通过 CPU 实现的？| 函数内联 vs 外联 / JUMP 指令 / 程序计数器 / 动态内存管理 / 汇编指令 / 递归
已浏览 3791 次3 个月之前
bilibili赛博门外憨
8:32
Subsystem子系统使用
已浏览 5589 次2023年5月28日
bilibili模型开发鲁老板
13:29
【完结】【CS61A精翻双语·英文原声】伯克利大学《计算机程序的结构与解释》(2024)
已浏览 29.2万 次2024年6月28日
bilibiliCS自学社区
14:49
【真心重要】学单片机的人必须要知道的大程序结构！
已浏览 8476 次2022年12月2日
bilibili狗弟爱学无人机
39:09
《UE4C 入门到精通》第十三讲：SubSystem源码解析
已浏览 2340 次2020年9月29日
bilibili吉叶子丶
3:18
【sub】显化调频｜睡眠显化｜助推器｜加速器｜加强器｜叠加器｜扩容器｜融合器｜静音器｜调时器｜防冲突｜补水｜兼容｜调和｜分割充能｜清理清洗｜释放压力｜避免紊乱
已浏览 7.2万 次2023年12月14日
bilibili可灵若鲤
展开
静态缩略图占位符