并行计算

首页 标签 并行计算
# 并行计算 #
关注
5564内容
|
9小时前
|
CUDA 的护城河从来不是 GPU:DeepSeek 开源昇腾基础组件后,这事被低估了
DeepSeek 在 GitHub 上放出了一批面向华为昇腾算力平台的基础设施组件。很多人第一反应是"又一个国产替代的进度条"。我的判断不一样:这件事真正的价值不在"国产芯片又追上了一点",而在它动的是 CUDA 最深的那道护城河,软件栈。
|
12小时前
|
03 · 权重条带缓存与融合权重
本文介绍CUDA后端复用引擎strip-cache量化格式的优化方案:不新增量化产物,仅在设备端执行一次32×32分块转置,通过`col_off`融合Q/K/V权重至同一缓冲,并将权重上装成本从首次prefill前移至模型加载期;结合缓冲池管理与LRU驻留窗口,显著降低显存分配开销。
|
21小时前
|
vLLM高吞吐推理引擎:本地高并发推理服务
vLLM是面向高并发服务的高性能大模型推理引擎,通过PagedAttention(KV缓存分页管理)和continuous batching(请求随到随插)两大核心技术,显著提升吞吐量与显存利用率,轻松实现比HuggingFace Transformers高一个量级的推理性能。
基于 YOLOv8的路面裂缝检测系统(中英文双版) | 附完整源码与效果演示
本项目基于YOLOv8设计实现路面裂缝自动检测系统,融合CBAM/SE注意力机制、CIoU+Focal Loss优化及多尺度推理,检测精度超90% mAP,支持实时(30+ FPS)分析。含完整代码、预训练模型与专用数据集,助力高效、低成本智能道路养护。(239字)
|
1天前
| |
第042篇 CountDownLatch 与 CyclicBarrier:等待与协作
本文深入解析`CountDownLatch`、`CyclicBarrier`与`Semaphore`的核心差异与实战陷阱:前者为一次性事件门闩,后者为可复用集合点,`Semaphore`则基于独占模式限流。重点剖析“计数未归零阻塞”“屏障损坏”“许可泄漏”等生产级坑点,并给出`finally`防护、超时兜底、参与方一致性等落地解法,助你面试直击采分关键。
Windows11 下把 WSL2 Ubuntu 26.04 装到 D 盘完整
本教程详解在Windows 11下将WSL2版Ubuntu 26.04 LTS(Resolute Raccoon)手动安装至D盘全流程:启用WSL2、下载官方镜像、`wsl --import`指定路径导入、创建用户、修复默认配置、配置`.wslconfig`同步代理、验证NVIDIA GPU直通(RTX 5070 Ti),全程避开C盘占用与网络下载失败问题。
|
1天前
|
02 · 架构边界:CUDA 为何是独立运行期模块
本文详解CUDA为何设计为独立运行期模块:因Windows下MinGW引擎与MSVC/nvcc编译的CUDA层存在CRT冲突,无法链接。故采用动态加载机制——启动时按序查找DLL,成功则GPU加速,失败则自动降级为无害桩,确保行为逐字节兼容。核心原则是“全有或全无”,杜绝半绑定风险,并提供`VLLM_CUDA_FORCE_CPU`等诊断工具。
llama.cpp 与 GGUF 格式:本地大模型的“裸引擎“
llama.cpp是纯C/C++编写的轻量级大模型推理引擎,无需Python依赖,支持CPU/GPU混合加速;GGUF为其统一二进制格式,集量化权重、架构配置、元数据于一体,实现“一模多用”。本文手把手教你Windows/Linux下获取、运行模型及启动OpenAI兼容API服务。(239字)
ComfyUI 本地部署 AI 漫剧与 AI 视频流水线:消费级显卡显存优化、角色一致性工程实战
本文聚焦AI漫剧量产痛点,提供基于ComfyUI的本地化落地方案:支持8GB显存卡部署Wan/LTX等FP8量化模型,详解角色一致性控制(IPAdapter+FaceID+LineArt)、显存优化、批量分镜渲染及视频防抖拼接,附完整Python/FFmpeg脚本,助力个人创作者低成本高效生产。
|
3天前
|
2026 年便宜云服务器 EGS GPU 云服务器选购指南:面向 AI 算力新手,购买流程、配置参数与计费方案解析
随着大模型推理、模型微调、AIGC生成、科学仿真、3D渲染等业务快速普及,越来越多个人开发者、学生、小型研发团队开始接触云端GPU算力。对于刚刚接触GPU云服务器的新手来说,面对繁多的实例规格族、不同GPU芯片型号、显存参数、多种计费模式,很容易踩坑。很多用户会出现显存选小跑不通模型,盲目选购高端实例造成高额账单,忽略GPU驱动安装、可用区库存限制、安全组端口配置等关键环节,购买完成之后实例无法正常识别显卡,甚至产生意料之外的高额扣费。便宜云服务器GPU云服务器,也就是EGS弹性GPU服务,依托神龙虚拟化架构,把GPU加速卡、CPU、内存、高速云盘、高性能网络整合成为异构计算实例,将原本成本高昂的物
免费试用
http://www.vxiaotou.com