ISTA 发布 DeepSeek-V4.1-Flash 量化版本基准测试说明
ISTA 针对与 Unsloth 测试结果的差异做出说明,指出推理预算限制(32K vs 128K)是导致跑分差异的主因。
ISTA 团队针对近期发布的 DeepSeek-V4.1-Flash-1017(763B参数)量化版本基准测试与 Unsloth 的结果差异进行了说明:
- 差异原因:跑分差异源于基准测试约束的不同,而非模型质量问题。Unsloth 的测试采用了严格的 32K Token 推理预算,而 ISTA 的基准测试允许高达 128K 的输出 Token。
- 测试设置:ISTA 使用了 128K 上下文窗口和设为 50 的推理强度(reasoning effort)。
- 开源与验证:团队代码已公开在 GitHub,论文在 arXiv 发布,并邀请有计算资源的社区成员使用相同设置进行独立验证。