商汤 SenseNova-Loop-9B-Preview 多模态开源模型发布
SenseNova-Loop-9B-Preview 是一款面向长文本和 Agent 工作流的多模态语言模型，采用共享循环解码器和双流流形约束超连接（mHC）架构，支持 256K 超长上下文。
商汤发布了 SenseNova-Loop-9B-Preview 多模态语言模型，专为长文本理解与 Agent 工作流设计，支持输入文本和图像并生成文本。
核心亮点：
- 共享循环块：24 个解码器层按顺序应用两次，通过 32 个不同的层实现 56 个解码器层的执行深度。
- 双流 mHC：在循环部分通过学习映射在两个残差流之间路由和组合信息。
- 混合注意力：解码器以重复的四层模式交错使用线性注意力和全注意力。
- 超长上下文多模态训练：支持文本、图像、代码和工具轨迹，最大训练序列长度达 256,144 个 Token。