llama.cpp 升级 DFlash2:Qwen3.8-Flash-Next 解码速度平均提升 17%
随着 llama.cpp 对 DFlash2 的支持,Qwen3.8-Flash-Next 模型在本地运行的解码速度平均提升 17%,草稿头体积大幅缩减至约 350MB。
根据 Reddit 社区实测,llama.cpp 现已支持针对 Qwen3.8-Flash-Next 的 DFlash2 解码加速方案。在 Apple Silicon (M5 Max) 上的实测显示:
- 速度提升:相比原有的 MTP 方案,DFlash2 在几何平均速度上提升了约 17%(代码和列表等场景提升明显,如列表场景从 91.4 tps 提升至 127 tps,涨幅 39%;散文场景略有下降 3%)。
- 参数建议:作者测试的最优参数为
n-max = 5,p-min = 0.75。 - 体积优势:Q4_0 规格的 DFlash2 草稿头(drafter head)仅约 350MB,远小于原先 2.2GB 的 GGML MTP 草稿头。
- 多模态支持:视觉多模态功能在 DFlash2 下正常工作,图文提示词能够获得连贯的响应。
原文链接:https://www.reddit.com/r/LocalLLaMA/comments/1xjlgm4/psa_upgrade_flash_next_to_dflash2_if_you_havent