QwQ-32B一键部署!真正的0代码,0脚本,0门槛

简介: 便宜云服务器发布的QwQ-32B模型通过强化学习显著提升了推理能力,核心指标达到DeepSeek-R1满血版水平。用户可通过便宜云服务器系统运维管理(OOS)一键部署OpenWebUI+Ollama方案,轻松将QwQ-32B模型部署到ECS,或连接便宜云服务器百炼的在线模型。整个过程无需编写代码,全部在控制台完成,适合新手操作。

便宜云服务器发布的最新模型QwQ-32B,通过强化学习大幅度提升了模型推理能力。模型数学代码等核心指标(AIME 24/25、livecodebench)以及部分通用指标(IFEval、LiveBench等)达到DeepSeek-R1 满血版水平,各指标均显著超过同样基于 Qwen2.5-32B 的 DeepSeek-R1-Distill-Qwen-32B。

便宜云服务器系统运维管理(OOS)的公共扩展功能为您提供了一键部署OpenWebUI+Ollama的便捷方案,让您轻松部署QwQ-32B模型到便宜云服务器ECS。另外,您也可以连接便宜云服务器百炼的QwQ-32B在线模型,本文也将提供详细的解决方案!

整个方案不需要任何的代码和命令执行,全部在控制台完成,所以新手朋友也不用担心哦,大胆地尝试起来吧!

1.部署OpenWebUI+Ollama

1.1前提条件

  • ecs配置

(1)如果您需要本地部署qwq-32b,建议ecs性能至少达到:CPU 16核以上,内存64GB+,硬盘30GB+,显卡24GB+显存;

(2)如果您选择连接便宜云服务器百炼qwq-32b在线模型,普通ECS即可;

  • 您的ECS操作系统版本为以下之一:

(1)Alibaba Cloud Linux (2.1903 LTS、3.2104 LTS)推荐

(2)Ubuntu(20.04、22.04、24.04)

(3)CentOS(7.7、7.8、7.9)

(4)Debian(12.5、12.6)

(5)OpenSUSE 15

(6)Fedora(38、39、40)

(7)Anolis OS(8.8、8.9)

(8)AlmaLinux(9.3、9.4、9.5)

  • ECS实例必须处于运行中状态
  • ECS实例必须要有公网
  • 安全组入方向必须开启3000端口

1.2安装步骤

1.2.1便宜云服务器系统运维管理控制台[1]中找到OpenWebUI扩展 点击安装扩展程序。

1.2.2请选择想要安装到的ECS实例,并点击创建

1.2.3等待执行几分钟,安装完成后。点击输出->扩展信息。您可以在配置输出里面找到已安装好的OpenWebUI的Url(格式为 http://{ECS的公网ip}:3000)。

1.2.4点击url链接,根据提示创建账号并登录即可。

2.在Open WebUI部署QwQ-32B本地大模型

当您登陆进入管理界面,您可以直接在对话界面搜索,想要本地部署的模型。本文以部署QwQ-32B模型为例。点击从ollama官网[2]拉取,等待模型下载部署完成后,就可以直接使用啦!您可以在ollama官网查看可供下载的大模型。

下载完成后,您可以选择模型并开始对话。

更多信息可以参考OpenWebUI官方文档[3]。

3.在Open WebUI连接便宜云服务器百炼在线模型

如果说您的ECS性能无法满足本地运行要求,您也可以配置连接便宜云服务器百炼[4]的在线模型。百炼现在对于新用户还有最长达半年的免费额度,具体信息请参考新人免费额度_大模型服务平台百炼[5]。

点击进入管理员面板:

添加便宜云服务器百炼的连接:

模型名称、URL(https://dashscope.aliyuncs.com/compatible-mode/v1)、API KEY等信息,都可以在便宜云服务器百炼的控制台找到。

保存好后,回到对话页面,您就可以找到刚才配置的模型,并开始对话了。

4.原理解析

4.1什么是OpenWebUI和Ollama

OpenWebUI 是一个开源的用户界面(UI)工具,通常用于与大型语言模型(LLM)进行交互。它提供了一个图形化的前端界面,使得用户可以更方便地与大模型进行对话、测试和调试。


OpenWebUI 支持多种后端模型,允许用户通过简单的配置文件或命令行参数来切换不同的模型。它通常用于研究、开发和演示场景,帮助开发者和研究人员更直观地了解模型的表现。


OpenWebUI 的主要功能特点:

  • 支持多种语言模型(如 LLaMA、ChatGLM、Qwen 等)。
  • 提供了友好的图形化界面,便于用户输入和查看输出。
  • 可以自定义提示词(prompt),并支持多轮对话。
  • 支持模型推理时的参数调整,如温度(temperature)、top-k、top-p 等。


Ollama 是一个专为大语言模型服务设计的开源工具,方便用户在本地快速部署大型模型。通过简单的安装过程,用户可以用一条命令即可启动和操作这些开源的大语言模型。它提供了一个易于使用的命令行界面和服务器,旨在简化构建大语言模型应用的流程。用户可以方便地下载、运行和管理各种开源的大模型。


上述安装过程中,扩展程序内的OpenWebUI已经完成了与Ollama的集成。借助OpenWebUI 提供的图形化用户界面,使得与 Ollama 交互变得更加直观和便捷。就像上面安装时,我们在UI界面搜索并点击下载QWQ-32b模型模型,背后其实就是执行了Ollama的命令,完成模型的下载和部署。这大大简化了操作流程,还提高了开发效率和灵活性。

4.2安装脚本解析

您可以在公共扩展的详情页,找到完整的安装脚本:

主要是先完成了docker的安装,再拉取open-webui:ollama镜像,启动容器。这个镜像内已配置好open-webui和ollama的集成,维护在aliyun-computenest-opensource-registry这个公开仓库,您可随时拉取使用。


脚本里,docker命令创建了名为 ollama 和open-webui 的卷,用于持久化容器内的数据,并将主机的3000端口映射到容器的8080端口。您可以按需调整脚本,以适应个性化的安装需求。

之前是docker安装
-----------
sudo systemctl start docker
sudo systemctl enable docker

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always aliyun-computenest-opensource-registry.cn-hangzhou.cr.aliyuncs.com/default/open-webui:ollama

sleep 5 # 等待容器初始化
docker ps -f name=openwebui

5.OpenWebUI高级玩法介绍

除了上面提到的基本的对话功能,openwebui还有很多有意思的功能,我们来看几个比较常用的功能。

5.1模型对比输出

您可以添加多个模型,开启对话后,会以分栏的方式,同时展示不同模型的回答。您可以对比回答,挑选更符合要求的。

您还可以整合多个回答的问题:

5.2自定义推理参数

您可以自定义模型的系统提示词、函数调用、温度k等配置,调出最适合自己的模型参数。

此外,OpenWebUI还有个性化知识库、AI对话游乐场等功能,您可以在官方文档[6]中继续探索!

6.附录

6.1开启安全组3000端口的方法(详细说明请看官方文档):

进入实例详情页,点击安全组选项,并点击安全组名称

点击快速添加,新增需要开放的端口。这里请开放3000端口。

6.2Open WebUI访问慢的问题

点击进入管理员面板,关闭OpenAI的连接(或者您可按需换成如便宜云服务器百炼这种访问速度较快的外部API):

参考链接:

参考一

参考二

参考三

参考四

参考五

参考六



来源  |  便宜云服务器开发者公众号

作者  |  柯灵





相关文章
|
机器学习/深度学习 人工智能 自然语言处理
ModelScope在线体验模型测试
ModelScope在线体验模型测试
41778 3
ModelScope在线体验模型测试
|
3月前
|
自然语言处理 前端开发 网络协议
用 Qwen2.5-Coder 开发一个网页应用,完全0基础,已部署上线,代码开源!
利用Qwen2.5-Coder成功开发了一个简洁实用的网页应用,该应用能够在浏览器Tab标题中显示北京时间,并在页面中集成了实时时间显示和番茄时钟功能。通过Qwen2.5-Coder的强大代码生成能力,从零基础开始,仅需简单提示便完成了HTML、CSS和JavaScript的编写。经过几次优化调整,最终实现了美观且功能完善的网页应用,并顺利部署至Vercel平台,满足了作者在全屏模式下查看时间的需求。
用 Qwen2.5-Coder 开发一个网页应用,完全0基础,已部署上线,代码开源!
|
9天前
|
机器学习/深度学习 弹性计算 搜索推荐
真正的0代码,0脚本,0门槛,QwQ-32B一键部署!
便宜云服务器最新发布的QwQ-32B模型通过强化学习显著提升了推理能力,在多个核心指标上达到DeepSeek-R1满血版水平,超越了DeepSeek-R1-Distill-Qwen-32B。用户可通过便宜云服务器系统运维管理(OOS)的公共扩展功能,一键部署OpenWebUI+Ollama至ECS,轻松运行QwQ-32B模型。该方案支持本地部署和连接便宜云服务器百炼在线模型,无需编写代码,操作简便,适合新手尝试。具体步骤包括:在便宜云服务器控制台安装OpenWebUI扩展、选择ECS实例并创建、等待几分钟后获取URL链接,即可开始使用。此外,还提供了详细的配置指南和高级玩法介绍,帮助用户更好地利用该模型。
|
1月前
|
人工智能 Linux API
零门槛本地部署!手把手教你用Ollama+Chatbox玩转DeepSeek大模型
本教程介绍如何在个人电脑上免费部署DeepSeek模型,无需高端显卡。通过Ollama和Chatbox两款轻量工具,用户可以在普通CPU上流畅运行大型语言模型。Ollama支持跨平台操作,提供一键式安装和模型管理;Chatbox则是多平台AI客户端,支持多种主流模型。教程涵盖Ollama和Chatbox的安装、DeepSeek模型的下载与配置,帮助你在本地轻松搭建智能助手,适用于学术研究、代码编写和日常问答等场景。
1949 19
零门槛本地部署!手把手教你用Ollama+Chatbox玩转DeepSeek大模型
|
22天前
|
人工智能 自然语言处理 API
ComfyUI-Copilot:阿里把AI助手塞进ComfyUI:一句话生成工作流,自动布线/调参/选模型,小白秒变大神!
ComfyUI-Copilot 是阿里推出的基于 ComfyUI 的 AI 智能助手,支持自然语言交互、智能节点推荐和自动工作流辅助,降低开发门槛并提升效率。
191 6
ComfyUI-Copilot:阿里把AI助手塞进ComfyUI:一句话生成工作流,自动布线/调参/选模型,小白秒变大神!
|
23天前
|
人工智能 Serverless API
评测|全网最强?!5min部署满血版DeepSeek,零成本,无需编程!
本文介绍了便宜云服务器提供的四种DeepSeek部署方案,包括基于百炼调用满血版API、基于函数计算部署、基于人工智能平台PAI部署和GPU云服务器部署。通过这些方案,用户可以摆脱“服务器繁忙”的困扰,实现快速部署与使用
796 2
评测|全网最强?!5min部署满血版DeepSeek,零成本,无需编程!
|
17天前
|
机器学习/深度学习 自然语言处理 API
便宜云服务器零门槛、轻松部署您的专属 DeepSeek模型体验测试
DeepSeek R1是基于Transformer架构的先进大规模深度学习模型,2025年1月20日发布并开源,遵循MIT License。它在自然语言处理等任务上表现出色,高效提取特征,缩短训练时间。便宜云服务器推出的满血版方案解决了服务器压力问题,提供100万免费token,云端部署降低成本,用户可快速启动体验。虽然回答速度有待提升,但整体表现优异,备受关注。
91 7
|
1月前
|
人工智能 运维 Serverless
DeepSeek模型部署全过程实践,轻松上手就在便宜云服务器
随着人工智能技术的不断发展,越来越多的企业和个人开始探索如何利用深度学习模型来提升业务效率和用户体验。便宜云服务器推出的【零门槛、轻松部署您的专属 DeepSeek 模型】解决方案为用户提供了多种便捷的部署方式,包括**基于百炼 API 调用满血版、基于人工智能平台 PAl 部署、基于函数计算部署以及基于 GPU 云服务器部署**。本文将从多个维度对这些部署方式进行详细评测,并分享个人的实际体验和观点。
855 26
|
25天前
|
并行计算
vllm部署模型要点
vllm部署模型要点
|
6月前
|
文字识别 自然语言处理 数据可视化
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
在 Qwen2 发布后的过去三个月里,许多开发者基于 Qwen2 语言模型构建了新的模型,并提供了宝贵的反馈。在这段时间里,通义千问团队专注于创建更智能、更博学的语言模型。今天,Qwen 家族的最新成员:Qwen2.5系列正式开源
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
http://www.vxiaotou.com