AI推理加速技术正从框架优化走向软硬协同与算法创新。近期，vLLM、SGLang等主流推理引擎持续迭代，并开始深度适配AMD、TPU及华为昇腾等多元芯片，以降低总拥有成本。同时，推测解码技术出现新突破，DSpark和JetSpec等新方法通过优化草稿模型，将生成速度提升60%至数倍。此外，利用小型模型修剪上下文、动态调度闲置GPU等工程实践，也在从不同维度压榨推理效率
7月16日
小米 MiMo-V2.5-Pro-UltraSpeed 突破 1，000 tokens/s，单台 8-GPGPU 节点运行 1T MoE 模型
小米 MiMo 联合 TileRT_AI 发布 MiMo-V2.5-Pro-UltraSpeed，首次在 1 万亿参数 MoE 模型上实现超过 1，
7月16日
华为与湖北移动完成全国运营商首个AI推理加速方案现网测试
华为与湖北移动基于OceanStor A800存储与昇腾A3超节点架构，搭载UCM（推理记忆数据管理）技术，完成全国运营商首个AI推理加速方案现网测试。
7月16日
DeepSeek 联合北大发布 DSpark 推理加速框架，速度提升 60% 至 85%
DeepSeek 联合北京大学发布 DSpark 推理加速框架，
7月15日
蚂蚁百灵发布UFP4论文：均匀网格FP4训练配方
蚂蚁百灵发表UFP4论文，提出均匀网格FP4训练配方。
7月15日
用SGLang-JAX在TPU上优化Ling-2.6-1T：一个Pallas核将MoE数据移动隐藏在计算中
SGLang-JAX现已支持inclusionAI的Ling-2.6-1T（1T稀疏MoE，63B激活参数，256路由专家，
7月13日
DFlash：块扩散草稿模型实现最高15倍吞吐量提升
DFlash 由 UC San Diego 团队提出，是一种用于投机解码的轻量块扩散草稿模型。
7月12日
MiniMax M3 在 Blackwell 上实现 980 TFLOP/s 稀疏注意力
MiniMax 与 Fireworks AI 合作，为 M3 模型在 NVIDIA Blackwell（B200）上推出新内核。
7月12日
Show HN： Tiny-vLLM--基于 C 和 CUDA 的高性能大型语言模型推理引擎
Tiny-vLLM 是一个用 C 和 CUDA 编写的高性能大语言模型推理引擎，项目代码已开源至 GitHub
7月12日
Chamath 解析 AI 计算中的预填充与解码
Chamath 谈 AI 计算中至关重要的"预填充"与"解码"。
7月10日
不加一块GPU，多榨出15%算力：大模型圈开始对网络“动刀”
过去两年，整个行业在算力军备竞赛中的标准动作只有一个：买更多GPU，建更大集群，堆更高算力。 但现在，这条路径正在被重新审视。
7月10日
蚂蚁集团开源 inclusionAI/vLLM：面向 LLM 的高吞吐、内存高效推理引擎
蚂蚁集团在 GitHub 开源 inclusionAI/vLLM 项目，这是一个专为大语言模型（LLM）设计的高吞吐、内存高效的推理与服务引擎。
7月10日
SGLang 团队与 AMD 合作，使 AMD InstinctTM MI355X GPU 的大规模 DeepSeek-R1 分离式推理在总拥有成本上具备竞争力
SGLang 与 AMD 团队合作，通过一系列全栈优化，
7月8日
利用 Netpreme X-MemTM MPU 加速 SGLang HiCache
Netpreme X-MemTM 内存处理单元（MPU）作为专用高带宽 KV 内存层与 SGLang HiCache 集成，
7月8日
Grok 4.5速度有望翻倍，未用GB300定制推理软件
Elon Musk透露，Grok 4.5尚未使用针对GB300硬件内部开发的C/C++推理软件，当前速度可能再翻倍或更多。
7月8日
vLLM vs SGLang：竞争带来益处
如果 vLLM 与 SGLang 能算出同一个结论，那一定是竞争有益。@noslawextratost 解释了为何 InferenceX 的展示是孤立的
7月7日
NVIDIA与阿里云合作加速Flink多模态数据流处理
在Flink Forward Asia Shenzhen 2026大会上，
7月7日
MiniCPM-V 4.6 现已支持 vLLM v0.22.0
MiniCPM-V 4.6 现已完全支持 vLLM v0.22.0！ 无需自定义分支，无需额外编译。 只需拉取预构建包即可运行。
7月7日
Kapa 在 RAG 流程中插入小型 LLM 修剪器，丢弃 68% 上下文并保持 96% 召回率
Kapa 在检索器与生成器之间加入一个廉价小型 LLM，将其作为修剪器。
7月7日
Liquid AI 开源 Antidoom：基于最终 Token 偏好优化的推理模型死循环修复方法
Liquid AI 开源了 Antidoom，一种基于 Final Token Preference Optimization （FTPO） 的针对性修…
7月6日
两节点 AMD Strix Halo RDMA 集群设置指南
本文介绍如何配置两节点 AMD Strix Halo 集群，通过 Intel E810 （RoCE v2） 网卡实现 RDMA 互联，
7月6日
FastVideo 发布 B300 FP4 attention 内核，提速 1.69x
（1/6） FastVideo 团队兴奋地发布一组新的 B300 FP4 attention 内核，相比 FA4 实现最高 1.69 倍加速！
7月6日
JetSpec：通过因果并行树草稿推测解码将LLM生成延迟推向极致
Sky Computing Lab推出JetSpec，
7月6日
ThinkingCap-Qwen3.6-27B思考token减半
bottlecapai/ThinkingCap-Qwen3.6-27B Qwen3.6-27B 的能力：平均减少 50% 的思考 token，
7月3日
Nemotron-Labs 扩散语言模型实现光速级文本生成
NVIDIA 在 Hugging Face 发布了关于 Nemotron-Labs 扩散语言模型的技术博客。
7月3日
HOLA：为线性注意力引入海马体式补充记忆
新论文提出 HOLA，通过将压缩递归状态与小精确记忆配对，提升线性注意力的长程召回能力。
7月2日
借用夜晚：将闲置推理GPU回收用于研究
Runway 开发了名为 deckard 的容量控制器，在生产推理集群与研究集群间动态重分配 GPU。
7月2日
DSpark 与 JetSpec 对比：两种面向因果一致性的推测解码技术
DSpark 与 JetSpec 几乎同时出现，都解决轻量级草稿模型并行提案时的因果一致性问题。
7月1日
DeepSeek V4 在 InferenceX 部署与性能探讨
本周 InferenceX 团队讨论了将 DeepSeek V4 部署到 InferenceX 所需的工作、模型架构的变化、什么是 MegaKernel…
7月1日
OpenAI分拆团队内存效率架构突破即将公布
@AndrewCurran_ 预测一项重大架构突破即将公布，重点提升内存效率，来自从OpenAI分拆的团队（非SSI）。
7月1日
MiniMax 研究员谈稀疏注意力与原生多模态训练
MiniMax 强化学习研究负责人姜松岩在 AI Engineer 大会第二天参加炉边谈话，
6月30日
腾讯开源ARGUS：万卡GPU集群监控方案
腾讯团队开源ARGUS方案，用于管理和监控超10，000块GPU的集群。大模型训练成本极高，万卡集群每天电费和折旧达数十万元。
6月30日
消息称 OpenAI 通过系统底层优化，将 AI 模型推理成本减半
OpenAI 工程师在内部透露，公司通过一系列系统底层优化，将 AI 模型的推理（运行）成本降低了 50% 以上。
6月30日
Perplexity开源Unigram分词器降低CPU占用
我们开源了重新构建的Unigram分词器，可将CPU占用降低5-6倍。
6月30日
OpenAI 推理成本减半 + 自研芯片，Sonnet 5 发布平淡
作者认为 OpenAI 今天取得更重大突破：通过新推理优化方法将推理成本降低一半以上，并与 Broadcom 合作推出更快更高效的推理芯片，
6月30日
OpenAI数据基础设施发现硬件与18年开源bug
⚙️ 我们在数据基础设施中调试了一整年的崩溃，发现了一个硬件问题，以及另一个在开源代码中隐藏了18年未被注意的问题。
6月29日
运行 CUDA 内核时会发生什么？
一个简单的CUDA向量加法程序在RTX 4090上运行，
6月29日
小红书 RedKnot 推理引擎：将 KV Cache 按注意力头拆解实现长文本加速
RedKnot 将 KV Cache 沿注意力头维度拆解，
6月29日
黑盒大语言模型的知识蒸馏
GPT-4 等闭源大语言模型性能优异，但因其作为黑盒教师无法提供内部状态，限制了知识蒸馏的效果。
6月29日
如何优雅地给 MLA 加上 QK-Norm？
DeepSeek 的 MLA 通过只缓存低维潜向量压缩 KV Cache，但 QK-Norm 需归一化高维 Key，若缓存归一化结果则打破低维优势。
6月27日
Grouped Query Experts：在GQA自注意力上的混合专家模型
论文提出Grouped Query Experts，在分组查询注意力（GQA）基础上让每个token仅路由到少数query头专家。
6月25日
百度发布Unlimited OCR：3B参数MoE模型，KV缓存恒定实现长文档高效解析
百度推出Unlimited OCR，一个3B参数的MoE模型，推理时仅激活500M参数。
6月25日
富士通介绍PHOTON架构：多查询性能最高达Transformer的475倍
富士通昨日介绍PHOTON（自上而下网络并行分层计算）架构，宣称多查询场景下性能至高可达Transformer的475倍。
6月25日
前 Databricks AI 负责人 Naveen Rao 的 Unconventional AI 发布首个模型 Un0，主打降低推理功耗 1000 倍
由前 Databricks AI 负责人 Naveen Rao 创立的 Unconventional AI 发布了首个模型 Un0，一个图像生成系统，
6月15日
下一代投机解码：DFlash 与 Spec V2
Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 SGLang 的默认 Spec V2 引擎。
6月11日
腾讯混元 AI Infra 新开源：HPC-Ops 推理核心算子全面升级
腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库，推出五大核心算子。
6月11日
MiniMax Sparse Attention（MSA）块状稀疏注意力
MiniMax 提出块状稀疏注意力 MSA，基于 GQA 构建。
6月10日
百度百舸联合复旦提出LU-KV框架，被ICML 2026录用
百度百舸团队与复旦大学合作提出Long-horizon Utility KV（LU-KV）框架，
6月10日
Bebop：通过带拒绝采样的多token预测加速RL训练
Bebop系统研究多token预测（MTP）在大语言模型RL后训练中的加速瓶颈。
6月5日
腾讯混元提出Stem稀疏注意力算法 首字延迟降低3.6倍
腾讯混元宣布提出Stem稀疏注意力算法，已被机器学习顶会ICML-26收录。
6月1日
华为推出星河AI数据中心网络方案 Token生产效率提升2~5倍
华为推出星河AI数据中心网络方案，依托网算存协同能力，NPU与存储直通使传输带宽提升8倍，Token生产效率提升2~5倍。
5月30日
DynoSim：模拟驱动推理堆栈优化
NVIDIA 发布 DynoSim，这是一个针对其 Dynamo 推理服务栈的工作负载驱动仿真工具。
5月29日
DynoSim：模拟帕累托前沿
现代大语言模型服务难以调优，因为每个部署都涉及模型后端、张量并行形状、预填充/解码分割、Worker数量、调度器设置、路由策略、KV缓存行为、自动扩展阈…
5月29日
PyTorch 中的性能分析（第一部分）：torch.profiler 初学者指南
该指南旨在介绍如何在 PyTorch 中使用 torch.profiler 进行性能分析。
5月27日
Fast， faster， Qwen. 🚀
Qwen3.5在TokenSpeed推理引擎上，针对智能体工作负载达到了创纪录的580 tokens per second （tps）速度。
5月26日
SilverTorch：索引即模型--推荐系统的新检索范式
Meta 推出SilverTorch推荐系统架构，统一了用户生成内容的所有检索组件。
5月25日
Qwen3.7-Max隐式缓存功能上线
✅隐式缓存现已在Qwen3.7-Max上线--自动启用，无需设置。 ⚡️开箱即用，更快更便宜。 需要更高、更确定的命中率？请尝试显式缓存。
5月20日
ZCube：超大规模大模型推理的网络优化
针对超大规模大模型推理，ZCube网络架构通过取消Spine层、将Leaf交换机分组并全互联等创新设计，有效解决了推理网络的拥塞问题。
5月18日
Claude控制台新增提示缓存诊断功能
提示缓存诊断现已在Claude控制台上线。 当请求未命中缓存时，您现在可以准确查看提示的哪一部分发生了变化，以及这消耗了多少令牌
