QwQ-32B 推理模型

Qwen系列的强大推理模型,具有显著增强的思维和推理能力,在下游任务特别是难题中表现出色。QwQ-32B在推理能力方面达到了与最先进模型相当的水平。

主要特点:

  • 采用RoPE、SwiGLU、RMSNorm的先进架构
  • 325亿参数(310亿非嵌入参数)
  • 131,072个词元的超长上下文长度
  • 最先进的推理能力
QwQ-32B Benchmark

体验 QwQ-32B

通过HuggingFace Spaces或QwenChat试用我们的模型 - 无需安装。

特性

QwQ-32B的独特之处

QwQ-32B是一个中等规模的推理模型,将强大的思维能力与最先进的性能相结合。

先进架构

采用具有RoPE、SwiGLU、RMSNorm和注意力QKV偏置的transformer架构

精密结构

64层结构,Q有40个注意力头,KV有8个(GQA)

扩展上下文长度

支持完整的131,072词元上下文长度,实现全面分析

大规模参数

总计325亿参数,其中310亿非嵌入参数,用于深度推理

增强推理

在下游任务和难题上的性能显著提升

便捷部署

支持包括vLLM在内的多种部署选项,实现最佳性能

用户评价

社区对QwQ-32B的反馈

常见问题

经常被问到的问题

还有问题?给我们发邮件: support@qwqai.org

准备试用QwQ-32B了吗?

体验先进AI推理的力量。