【CUDA学习】06-GPU CUDA 内存管理
2026-03-02 119 字 1 分钟

【CUDA学习】06-GPU CUDA 内存管理

6. CUDA 内存管理 内存模型 CPU 的内存结构相比大家都很熟悉了，这里就不费口舌了，我们直接通过下图总体了解 GPU 常见的内存模型 (注意，下面提到的内存模型都是逻辑模型，具体硬件对应我们会在后面继续谈)： 寄存器 Registers 本地内存 Local Memory 共享内存 Shared Memory 全局内存 Global Memory 常量内存 Constant Memory 纹理内存 Texture Memory
【CUDA学习】05-GPU 分支分化 & 循环展开
2026-03-02 34 字 1 分钟

【CUDA学习】05-GPU 分支分化 & 循环展开

5. 分支分化 & 循环展开 分支分化 待续，编译器已经做了相当多工作 循环展开 待续
【CUDA学习】04-GPU 进一步学习硬件结构
2026-03-02 575 字 3 分钟

【CUDA学习】04-GPU 进一步学习硬件结构

4. 进一步学习硬件结构 SM、Warp、SP 在前面第一章 1. GPU 基本架构 中，我们知道，GPU 本质是围绕 SM 进行扩展实现的，SM 内部有多个线程 (SP) 来实现 SIMD 的目标： 每个 GPU 通常都有多个 SM，当一个核函数被启动后，多个 Block 会被同时分配给可用的 SM 中执行， 💡 当一个 Block 被分配给一个 SM 后，它就只能在这个 SM 中执行，不可重新分配，多个 Block 可以被分配到同一个 SM 上。 那么在硬件上，当一个 Block 被分配到 SM 上后，硬件会严格将其划分为多个包含 32 个物理线程的 Warp； SM 配
【CUDA学习】03-GPU CUDA内部线程索引
2026-03-01 785 字 4 分钟

【CUDA学习】03-GPU CUDA内部线程索引

3. CUDA内部线程索引 其实我们前面也已经了解到其内部索引的一些细节了，这里再展开说说，这张图很好的描述了 2D 情况： 整体计算并没有什么可说的，无非就是在对应计算 Grid Dim 的时候注意向上取整。 这里以一个 2D 矩阵加法的加速代码来说明： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485#include
【CUDA学习】02-GPU 内存结构 & 核函数基本说明
2026-03-01 1.8k 字 9 分钟

【CUDA学习】02-GPU 内存结构 & 核函数基本说明

2. 内存结构 & 核函数基本说明 内存结构 对于 CPU + GPU 的异构模型，两者内存是隔离的 （当然了，CPU有自己的内存，GPU有自己的显存），因此我们会有对应的 CUDA 函数对设备进行内存分配与复制： cudaMalloc: 分配内存 cudaMemcpy: 复制内存 cudaMemset: 设置内存 cudaFree: 释放内存 cuda 函数统一返回 cudaError_t 方便主机端进行错误处理，为了更好显示，runtime api 也提供了一些必要的转换方法，比如，具体参考官方文档 1234// Returns the string represent
【CUDA学习】01-GPU 架构与异构计算
2026-02-28 572 字 3 分钟

【CUDA学习】01-GPU 架构与异构计算

1. GPU 基本架构 GPU 可以类比 CPU 架构理解，只不过弱化控制器，强化计算能力 (SP)，如下图： 右图 GPU 中，绿色方块为 SP (streaming processor) 是 GPU 运算的基本单元 (其实就类似 ALU)，GPU 中天然的将多个 SP 组合在一起，配合一定数量的寄存器和共享内存，形成一个 SM (streaming multiprocessor) ，使其在架构上对 SIMD 更加友好 [个人理解： SM 是 GPU 对 SIMD 支持的基本单元]，这都是很直觉的内容。 我们学习的 CUDA Runtime API 相对 CUDA Driver 更高层
Hello World
2026-02-28 80 字 1 分钟

Hello World

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick Start Create a new post 1$ hexo new "My New Post" More info: Writing Run server 1$ hex