智器材2月7日报路，昨天，幼米MiMo大模型团队颁发推出HySparse，一种面向Agent时期的混合稀少把稳力架构，使用“极少的全把稳力（Full Attention）+ 稀少把稳力（Sparse Attention）”主题设计。 随着Agent模型与利用的发作式发展，精准高效处置超长文本在成为模型必不成少的基础能力。Agent不仅必要在超长高低文中实现不变检索、推理与多轮规划，还必须在推理阶段维持足够快的响应快率，目前最大的挑战已经不只是“能不能算”，而是“算不算得起”。 这背后的动机是Full Attention在实现自身推算的同时，已经天生了KV Cache，并且推算出了最正确的 token沉要性信息，天然能够供后续N个Sparse Attention层直接复用。 HySparse能够视为是在MiMo-V2-Flash的Hybrid SWA结构的基础上，为SWA增长了全局的、更沉要的token信息补充。这一改进不仅提升了机能，还没有增长KV Cache存储，也没有显著增长推算开销。 HySparse结构为Agent时期的超长文本处置提供了高效精准的技术解决规划，也为大模型高效把稳力结构的钻研与落地提供了全新参考。 幼米MiMo泄漏，团队打算在更大规模模型上进一步验证HySparse的极限和潜力，并持续索求降低Full Attention层数量的可能性，让超长高低文更高效。