Gemma-4-31B-Humanlike-Chat 发布:优化人类语音与对话风格的微调模型
基于 Google Gemma 4 31B 官方模型微调的 Humanlike-Chat 版本发布,改进了人类语音与聊天风格,支持 GGUF、Safetensors、FP8 及 GPTQ-Int4 本地部署权重。
开发者推出了 Gemma-4-31B-Humanlike-Chat 模型,将先前用于 Qwen 2.0 微调的方法应用到了 Google 官方的 Gemma 4 31B 模型上。
特性与改进
- 类人对话风格:无需特定提示词即可模拟人类短文本、小写字母的聊天习惯。
- 工具调用与基准测试:在 When2Call(66对46)、BFCL irrelevance(90对81)和 BFCL simple(96对95)测试中表现优于官方基准模型,同时保持了与原版相同的 MMLU-Pro 知识水平(82.5)。
- 训练方法:基于
google/gemma-4-31B-it使用 Apache-2.0 协议进行训练,包含 SFT(13,740行数据)及 12 步在线蒸馏(on-policy distillation)以避免长对话末尾出现单字回复的现象。
下载与部署
- GGUF 格式(支持 IQ4_XS、Q4_K_M、Q5_K_M、Q6_K、Q8_0、BF16):Hugging Face GGUF 仓库
- Safetensors 格式(适用于 vLLM 和 SGLang):BF16 | FP8 | GPTQ-Int4
- 在线体验:Hugging Face Space