昇腾Ascend
昇腾万里，让智能无所不及
关注
5.1W
昇腾AI活动
README badge
![README Badge]()
加载中
肖滢
发表了博客
随着大模型技术快速发展，其在自然语言处理、多模态交互等领域的应用逐渐深入产业场景。然而，开发者与企业落地大模型时仍面临算力需求高、推理效率不足、部署成本优化难等现实问题。昇腾AI基础软硬件平台通过异构计算架构、全场景AI框架等技术，为大模型开发与部署提供了高效支撑体系。 4月9日晚，开源中国OSCHINA 直播栏目【数智漫谈】将邀请具备一线开发经验的技术专家，聚焦昇腾平台与大模型结合的创新实践。 直播亮点： 昇...
哈哈欧尼OSC
发表了博客
当前DeepSeek等MoE（Mixture of Experts）混合专家模型已逐步成为LLM（大语言模型）领域的主流架构，但MoE模型训练面临几个关键问题，如内存占用大、通信时延高、负载不均衡、算力利用率低等，其中All2All通信耗时占比高和显存开销大是显著瓶颈。MindSpeed基于昇腾硬件特点实现了DualPipe通信掩盖，创新提出重计算细粒度通信掩盖和Zero-Memory内存优化技术，缓解显存瓶颈的同时保持计算效率，并支持兼容多种流水线调度算法，供用...
哈哈欧尼OSC
发表了博客
一、AscendCL的定义 AscendCL（Ascend Computing Language）是一套用于在昇腾平台上开发深度神经网络推理应用的C语言API库，提供运行资源管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API，能够实现利用昇腾硬件计算资源、在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说，就是统一的API框架，实现对所有资源的调用。 二、ACL应用开发流程 ACL的开发流程包括从安装昇...
哈哈欧尼OSC
发表了博客
1 相关概念 1.1. MindIE 服务化监控指标查询接口 在 MindIE 服务化运行过程中，为了及时掌握服务的运行状态、性能表现以及发现潜在问题，提供了服务监控指标查询接口（普罗(Prometheus)格式）。该接口能够帮助开发者和运维人员获取丰富的服务监控指标数据，为优化服务配置、保障服务质量提供有力支持。 本文将介绍如何使用 Prometheus 与 Grafana 来实现 MindIE 服务可视化监控功能。 当前接口支持以下指标监控，详情可以参考：...
哈哈欧尼OSC
发表了博客
MindIE是昇腾自研推理框架，本实验手册可指导小白用户快速掌握MindIE在LLM（large language model）场景的基本功能，包括：大模型推理功能测试、大模型性能测试、大模型精度测试、服务化推理部署、benchmark测试等。 1 实验准备 1.1 软硬件环境 本实验使用的设备是800I A2服务器，已经参考官网文档（安装驱动和固件-MindIE安装指南-环境准备-MindIE1.0.0开发文档-昇腾社区）安装好了昇腾硬件驱动。然后，我们选择使用官网提供的...
哈哈欧尼OSC
发表了博客
PyTorch 实现 Alexnet图像分类 本文主要介绍了如何在昇腾上，使用pytorch对经典的Alexnet小模型在公开的CIFAR10数据集进行分类训练的实战讲解。内容包括Alexnet网络模型创新点介绍、Alexnet的网络架构剖析与网络模型代码实战分析等等 本实验的目录结构安排如下所示： Alexnet网络模型创新点介绍 Alexnet的网络架构剖析 网络模型代码实战分析 Alexnet网络模型创新点介绍 使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过...
哈哈欧尼OSC
发表了博客
本文主要介绍如何在昇腾上使用pytorch对推荐系统中经典的网络模型WideDeep网络进行训练的实战讲解，使用数据集是criteo，主要内容分为以下几个模块： 推荐系统概述 WideDeep网络创新点介绍 WideDeep的网络架构剖析及搭建 使用criteo数据集训练WideDeep网络实战
- criteo数据集介绍
- 模型训练过程定义
- 评估模型性能
- 使用criteo训练wideWeep模型 推荐系统概述 推荐系统可以看作是搜索排名系统，其中输入查询是一组...
哈哈欧尼OSC
发表了博客
本实验主要介绍了如何在昇腾上，使用pytorch对经典的图神经网络GraphSage在论文引用CiteSeer数据集上进行分类训练的实战讲解。内容包括GraphSage创新点分析、GraphSage算法原理、GraphSage网络架构剖析与GraphSage网络模型代码实战分析等等。 本实验的目录结构安排如下所示： GraphSage创新点分析 GraphSage算法原理 GraphSage网络架构剖析 GraphSage网络用于CiteSeer数据集分类实战 GraphSage创新点分析 本文提出了一种归纳式学...
哈哈欧尼OSC
发表了博客
实验环境 虚拟机——开发环境 Ubuntu 18.04 x86操作系统 CANN toolkit 5.0.4.alpha005的x86版本和aarch64版本 开发板——运行环境 固件版本1.0.12.alpha **Ubuntu 18.04 arm **操作系统 200DK的CANN 5.0.4的nnrt驱动包 1. 环境部署 1.1 制作SD卡——mksd方式 制卡环境：含TF卡插槽的计算机，搭载VMware虚拟机 Ubuntu 18.04 X86操作系统 1.1.1 创建制卡目录mksd，下载制卡所需的文件 #创建目录
sudo mkdir mksd
cd mksd
# 下载...
哈哈欧尼OSC
发表了博客
近日，在华为全联接大会2024期间，华为常务董事、ICT基础设施业务管理委员会主任汪涛重磅发布CANN 8.0。新版本新增80多个融合算子、100多个Ascend C API，自研NB2.0和NHR集合通信算法并全面适应于超节点方案，基于LLM P-D分离部署方案设计并发布LLMDataDist组件，同时支持图模式能力扩展库TorchAir，提升PyTorch在NPU上的大模型推理性能。 昇腾异构计算架构CANN作为昇腾AI生态的根基和锚点，基于软硬件深度协同优化，持续构建昇...
哈哈欧尼OSC
发表了博客
【摘要】 在昇腾AI异构计算架构CANN最新推出的8.0版本中，基于LLM P-D分离部署方案设计并发布LLM-DataDist组件，API简单易用，可以低开发成本被MindIE-LLM、vLLM等大模型推理框架集成，并在近一年支撑了多个大模型业务的规模化商用。 1 摘要 大模型推理的Prefill和Decode阶段往往存在计算和内存受限问题，资源分配不均，导致成本居高不下，这些趋势和挑战，都驱动着推理系统的重构，以更高效的资源调度与并行解码，满足推理商业...
哈哈欧尼OSC
发表了博客
【摘要】 Dify是一款开源的 LLM 应用开发平台，提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。本文将带你快速搭建基于DeepSeek-R1-Distill-Qwen-32B的Dify工作流最佳实践，实现从知识库或者搜索引擎进行检索。 概述 Dify是一款开源的 LLM 应用开发平台，提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。本文将带你...
哈哈欧尼OSC
发表了博客
【摘要】 msModelSlim支持多种模型压缩算法（包括量化压缩、稀疏压缩等），为开发者提供更加灵活、高效的模型压缩量化方案。 最近 AI 圈可以说是被新晋“顶流”DeepSeek刷屏了，新发布的 V3/R1 系列模型，直接在全球火出圈，它的性能强劲到足以和全球顶尖模型一较高下！不过你知道吗？虽然网络版和App版已经足够好用，但只有把模型搬进自家地盘，进行本地部署，你才能享受到真正的“私人定制”，让DeepSeek R1的“深度思考”完全...
哈哈欧尼OSC
发表了博客
摘要 算力虚拟化技术对消费者而言，可有效降低算力的使用成本，对于设备商或运营商而言，则可极大提升算力资源的利用率，降低设备运营成本。 为什么要做算力虚拟化 近年来，人工智能领域呈井喷式发展，算力就是生产力，以AI集群为基础的人工智能计算中心在国内多点开花，为政府、企业及个人，提供了一种新的城市公共资源，成为了智能世界的“黑土地”。 算力资源共享势必会带来资源分配问题，无论是人工智能计算中心这种大型AI基...
哈哈欧尼OSC
发表了博客
DeepSeek开启全新的后训练范式，带来AI模型技术平权时代，行业纷纷构建自己的高质量高性能的行业RL模型。然而，训练高性能的大尺寸模型通常需要庞大的计算资源和海量数据，这对研究社区的可复现性和进一步探索提出了挑战。为了降低研究门槛并促进开源生态的发展，昇腾MindSpeed RL强化学习开源套件支持大尺寸模型的强化学习高效训练，提供用户方便易用的复现指导，目前已完成在Qwen25-7B/32B基座模型为例复现R1-Zero的实践，模型...
哈哈欧尼OSC
发表了博客
[中国，深圳，2025年3月21日] 在华为中国合作伙伴大会2025期间，以“与时代 共昇腾”为主题的昇腾人工智能伙伴峰会于深圳圆满落幕。峰会现场，24家行业领军企业联合昇腾围绕“硬件、算子、加速库、模型、应用”五大方向重磅发布一系列创新成果，22家合作伙伴发布基于昇腾算力的大模型应用一体机，众多产业伙伴分享昇腾优秀落地实践，共同加速人工智能深入千行万业，持续推动人工智能产业在时代浪潮中破浪前行。 华为副总裁、ICT...
华为云开发者联盟
发表了博客
摘要：专区围绕DeepSeek对话、互动式课程体系、业界主流大模型、免费实践环境四大核心能力，打造“体验—学习—应用”闭环，助力开发者实现AI转型“零门槛”跃迁。 近些年，AI发展势头有目共睹。作为“下一个十年”最核心的科技手段之一，已然是行业共识和大势所趋。但开发者与企业学习AI技术仍面临三大痛点“模型部署门槛高、学习资源碎片化、算力成本难以承受等。华为云开发者学堂赋能开发者，正式推出全新的 昇腾专区平台 ！...
哈哈欧尼OSC
发表了博客
2025年3月16日，vLLM社区联合华为在北京成功举办了国内首届Meetup。近300开源开发者与技术爱好者齐聚一堂，深入交流AI领域的前沿技术与案例分享。来自vLLM、verl、LLaMA-Factory、vLLM Ascend项目的维护者，解读了在模型微调、强化学习、推理部署领域的最新成果。 vLLM的多样性带来新的挑战 其中，来自vllm-project/vllm-ascend项目的维护者王玺源发表了《昇腾插件化接入vLLM最佳实践》主题演讲，作为vLLM硬件插件化机制的主要作...
飞算JavaAI开发助手
发表了博客
在 Java 开发领域，设计模式一直被视为构建高质量、可维护且具有高扩展性软件系统的关键要素。从经典的单例模式确保一个类仅有一个实例，到工厂模式解耦对象的创建和使用，设计模式为开发者提供了经过实践检验的解决方案。然而，要精通设计模式并非易事，需要开发者花费大量时间去学习、理解和实践，在实际项目中正确应用这些模式更是充满挑战。但如今，飞算 JavaAI 的出现改变了这一局面，让开发者无需精通设计模式，也能轻松获...
没有更多内容
加载失败，请刷新页面
