OhssiLabs
퇴근 후 지식 한 잔

GPU STUDY NOTE · 2026.11.11

__global__은
글로벌 메모리가 아니었다

커널·스레드·블록에서 행렬 곱 타일링까지, 작은 행렬과 코드를 직접 따라가는 CUDA.

개념 한 모금안내 실험 3개드립 · 12분

GPU를 공부하다가 공유 메모리 타일링 예제를 만났습니다. 코드의 첫 줄부터 __global__이 보이는데, 본문에서는 또 글로벌 메모리를 이야기합니다. 둘이 관련된 표시라고 생각하니, 그다음에 나오는 __shared__도 자꾸 헷갈렸습니다.

이번에는 코드를 외우기 전에 질문을 나눠보려 합니다. 이 함수는 어디서 실행될까? 누가 결과의 어느 칸을 맡을까? 그 스레드는 데이터를 어디에서 읽을까? 이 세 질문을 풀고 나면 타일링은 훨씬 자연스럽게 이어집니다.

먼저, 함수의 실행 장소와 데이터의 저장 장소

__global__은 GPU에서 실행할 커널 함수라는 표시입니다. “이 함수의 모든 변수를 글로벌 메모리에 둔다”는 뜻은 아닙니다. 커널은 GPU에 병렬 작업을 요청하는 진입점이고, global memory는 GPU의 여러 스레드가 접근할 수 있는 데이터 저장 공간입니다.

__global__ void f(...)

함수 선언의 표시
어디에서 실행할까?
GPU에서 커널을 실행합니다.

global memory

메모리 공간의 이름
데이터를 어디에 둘까?
이 예제의 A·B·C가 놓인 공간입니다.

__host__
CPU에서 실행하는 함수. 일반 함수는 기본적으로 여기에 해당합니다.
__device__
GPU에서 실행하며, GPU 코드에서 호출하는 함수.
__global__
GPU에서 실행하는 커널. 일반적인 예제에서는 CPU가 <<<...>>>로 실행을 요청합니다. 반환형은 void입니다.

고급 기능인 Dynamic Parallelism에서는 GPU 코드가 커널을 실행할 수도 있습니다. 이 글은 CPU에서 커널을 호출하는 기본 흐름을 다룹니다.

커널 호출 한 번은 함수 실행 한 번일까?

CPU에서 함수를 호출하던 감각으로 보면 커널도 한 명이 실행하는 함수처럼 느껴집니다. CUDA에서는 실행할 스레드들을 블록(block)으로 묶고, 블록들을 그리드(grid)로 묶습니다. 같은 커널 코드를 여러 스레드가 실행하며, 각 스레드는 자기 번호로 할 일을 찾습니다.

blockIdx는 그리드 안에서의 블록 번호, threadIdx는 블록 안에서의 스레드 번호입니다. 2차원 행렬에서는 x를 열, y를 행으로 대응시키면 편합니다. blockDim은 블록의 크기이고 gridDim은 그리드의 크기입니다.

실험 1 · 커널 한 번 호출, 스레드 16개의 일
dim3 block(2, 2);
dim3 grid(2, 2);
matMulTiled<<<grid, block>>>(d_A, d_B, d_C, 4);
CPU · Host

실행 구성과 장치 포인터를 준비합니다.

GPU · Device

아직 커널을 실행하지 않았습니다.

C 담당 위치 선택

「커널 실행」 후 결과 위치를 선택해 담당 스레드를 찾아보세요.

4×4 결과 행렬을 2×2 블록 네 개가 나눠 맡습니다. 블록의 실제 실행 순서와 동시 실행 개수는 GPU가 결정합니다. 아래는 시간 측정이 없는 개념 모델입니다.

여기서 d_A·d_B·d_C는 GPU가 접근할 수 있도록 준비한 포인터입니다. 기본적인 명시적 메모리 관리에서는 cudaMalloc으로 공간을 확보하고 cudaMemcpy로 입력을 복사합니다. __global__ 표시나 커널 호출 자체가 CPU 배열을 자동으로 GPU에 옮겨주지는 않습니다.

A·B는 함께 보고, 타일은 블록끼리, acc는 각자

스레드가 맡을 위치를 알았다면 이제 메모리를 구분할 차례입니다. 이 행렬 곱 예제에는 세 가지 범위가 있습니다.

글로벌 메모리 · A, B, C

여러 블록의 스레드가 접근하는 원본과 최종 결과. 커널 밖에서도 메모리 할당을 유지할 수 있습니다.

공유 메모리 · As, Bs

__shared__로 선언하는 블록별 작업 공간. 같은 블록의 스레드들이 함께 사용합니다. 다른 블록의 같은 이름 배열은 별개의 공간입니다.

스레드의 값 · acc

각 스레드가 자기 계산을 쌓는 누산값. 보통 레지스터에 놓이지만 실제 배치는 컴파일러와 자원 상황에 따라 달라집니다.

공유 메모리는 블록의 공동 작업대라고 생각하면 쉽습니다. 작업대에 올린 A·B의 작은 조각을 같은 블록의 여러 스레드가 반복해서 읽습니다. 작업대에 물건을 올리는 순서와 치우는 순서를 맞추는 장치가 뒤에서 살펴볼 동기화입니다.

행렬 곱: 한 칸을 계산하는 데 무엇을 읽을까?

C[row, col]은 A의 row번째 행과 B의 col번째 열을 따라가며, 같은 k 위치의 두 값을 곱해 모두 더한 값입니다. 나이브 구현에서는 각 스레드가 k를 반복하며 이 두 값을 글로벌 메모리에서 직접 읽습니다. 이웃 스레드도 같은 값을 필요로 하므로 코드상 중복 읽기가 많습니다.

타일링은 한 블록이 담당하는 결과 타일에 필요한 A의 조각과 B의 조각을 공유 메모리에 먼저 담습니다. 한 스레드는 A 원소 하나와 B 원소 하나의 적재를 맡고, 적재가 끝나면 여러 스레드가 재사용합니다. 이 예제에서는 타일링 후에도 각 스레드가 C의 한 칸을 맡습니다.

실험 2 · 한 블록의 작업을 코드와 함께 따라가기

현재: N=4, TILE=2. A[r,c]=r+c+1, B는 대각 2·나머지 1. 원소 좌표는 0부터 시작합니다.

TILE
시작 전 · 스레드별 acc = 01 / 12

A · 글로벌 메모리

1234234534564567

B · 글로벌 메모리

2111121111211112

As · 블록의 A 타일

····

Bs · 블록의 B 타일

····

blockIdx=(0, 0) · threadIdx=(0, 0) → C[0, 0]

K 타일 1/2 · 이 블록의 누적 A/B 글로벌 읽기: 0회

선택한 스레드의 acc = 0

각 스레드의 누산값은 독립적입니다. 다음 단계로 진행하세요.

C · 기록 전, 담당 스레드 선택

C의 위치를 눌러 같은 단계에서 다른 스레드의 관점을 확인하세요. 블록마다 As·Bs가 따로 존재하고 acc는 각 스레드의 값입니다.

공유 타일이 적재된 뒤 원소를 누르면 누가 적재하고 누가 재사용하는지 볼 수 있습니다.

현재 단계에 해당하는 코드 줄을 강조합니다. TILE=2, block(2, 2)로 컴파일·호출하는 예시입니다.

__global__ void matMulTiled(const float* A, const float* B, float* C, int N) {
  __shared__ float As[TILE][TILE], Bs[TILE][TILE];
  int row = blockIdx.y * TILE + threadIdx.y;
  int col = blockIdx.x * TILE + threadIdx.x;
  float acc = 0.0f; // 각 스레드의 누산값
  for (int t = 0; t < (N + TILE - 1) / TILE; ++t) {
    int ak = t * TILE + threadIdx.x;
    int bk = t * TILE + threadIdx.y;
    As[threadIdx.y][threadIdx.x] = (row < N && ak < N) ? A[row * N + ak] : 0.0f;
    Bs[threadIdx.y][threadIdx.x] = (bk < N && col < N) ? B[bk * N + col] : 0.0f;
    __syncthreads(); // 모두 적재한 뒤 읽기
    for (int k = 0; k < TILE; ++k)
      acc += As[threadIdx.y][k] * Bs[k][threadIdx.x];
    __syncthreads(); // 모두 읽은 뒤 덮어쓰기
  }
  if (row < N && col < N) C[row * N + col] = acc;
}
모든 숫자는 브라우저에서 계산합니다. 실제 CUDA 실행·GPU 시간·DRAM 트랜잭션을 재현하지 않습니다. 녹색은 현재 타일, 주황은 선택한 스레드가 읽는 곱셈 항, 빗금은 경계 밖 0 채움입니다.

왜 __syncthreads()가 두 번 나올까?

첫 번째는 읽기 전 대기입니다. 내가 맡은 값을 적재했다고 해서 다른 스레드의 적재까지 끝난 것은 아닙니다. 모두 적재를 끝낸 뒤 공유 메모리를 읽어야 합니다.

두 번째는 덮어쓰기 전 대기입니다. 내 계산이 끝나 먼저 다음 타일을 적재하면, 다른 스레드가 아직 읽고 있던 값이 바뀔 수 있습니다. 모두 현재 타일을 읽은 뒤 다음 타일로 넘어갑니다. 두 동기화 모두 같은 블록의 스레드들을 대상으로 합니다.

원래 예제의 N / TILE은 N이 TILE로 나누어떨어질 때를 가정합니다. 여기서는 (N + TILE - 1) / TILE로 마지막 부분 타일까지 처리합니다. 시각화 속 0은 원본 행렬에 실제로 추가한 데이터가 아니라 경계 밖 적재 대신 공유 메모리에 넣은 값입니다.

실행 구성을 코드로 연결하기

실험은 읽기 쉬운 TILE=2가 기본입니다. 실제 CUDA 코드에서는 TILE이 컴파일 시점 상수이며, 아래 블록 크기와 커널의 배열 크기가 일치해야 합니다. d_A·d_B 입력 준비 및 d_C 할당이 끝났다는 가정입니다. 실전에서는 CUDA API 반환값과 커널 실행 오류도 확인해야 합니다.

#define TILE 2
// 위 타일링 커널 정의보다 먼저 선언합니다.
dim3 block(TILE, TILE);
dim3 grid((N + TILE - 1) / TILE,
          (N + TILE - 1) / TILE);
matMulTiled<<<grid, block>>>(d_A, d_B, d_C, N);
cudaError_t launchError = cudaGetLastError();
cudaError_t executionError = cudaDeviceSynchronize();
// 두 오류 상태를 처리한 뒤 필요 시 C를 호스트로 복사합니다.

타일링이 바꾸는 것은 데이터 재사용

N×N 행렬에서 한 출력 원소는 A와 B를 각각 N번 읽습니다. 출력은 N²개이므로 나이브의 논리적 읽기는 2N³회입니다. 타일링에서는 한 원소를 TILE개의 스레드가 재사용하므로, N이 TILE로 나누어떨어지는 모델에서 이 읽기가 TILE분의 1로 줄어듭니다.

실험 3 · 읽기 횟수가 줄어드는 이유
나이브 A/B 읽기128회
타일링 A/B 읽기64회
두 방식 C 기록16회

나이브: 2 × N³ = 128
타일링: 2 × N³ / TILE = 64

출력 타일의 4개 스레드가 각자 A·B를 반복해서 읽는 대신, 두 타일을 함께 가져옵니다. 적재한 원소는 2개 스레드가 재사용합니다. 곱셈·누산의 수와 C 기록 수는 그대로입니다.

TILE 2배의 논리적 읽기 감소가 실제 속도 2배 향상을 뜻하지는 않습니다. TILE을 키우면 공유 메모리와 스레드 자원 요구도 함께 커집니다.

N=4이며 N이 TILE로 나누어떨어지는 단순 모델입니다. A/B 원소의 논리적 읽기만 셉니다. 캐시·병합 접근·실제 메모리 트랜잭션·동기화 비용·실행시간은 이 숫자에 포함되지 않습니다.

메모리에서 가져온 데이터당 더 많은 연산을 하게 된다는 점을 연산 강도(arithmetic intensity)가 올라간다고 표현합니다. 여기서 줄어드는 것은 중복된 데이터 가져오기이고, 행렬 곱 자체의 곱셈·덧셈 작업은 남아 있습니다.

다만 나이브 구현을 항상 메모리 바운드라고 단정할 수는 없습니다. 캐시, 메모리 병합 접근, 행렬 크기, GPU 특성이 실제 병목을 바꿉니다. 큰 타일도 항상 유리하지 않습니다. 공유 메모리와 레지스터, 블록당 스레드 수가 늘면 동시에 실행할 수 있는 작업 수가 줄어들 수 있어 실제 측정이 필요합니다.

오늘 이해한 것, 다음에 볼 것

이제 커널의 첫 줄부터 다시 읽어봅니다. __global__은 GPU에서 실행할 함수, blockIdx와 threadIdx는 내가 맡을 칸을 찾는 좌표, __shared__는 블록의 공동 작업 공간, 두 번의 __syncthreads()는 안전하게 함께 쓰기 위한 약속입니다.

실무의 행렬 곱에서는 cuBLAS나 CUTLASS 같은 최적화된 라이브러리를 먼저 검토합니다. 워프·스레드별 타일, Tensor Core 등 더 깊은 최적화는 그다음 학습 주제입니다. 오늘의 목적은 이 작은 커널 안에서 누가 계산하고, 어디에서 읽고, 무엇을 재사용하는지를 연결해 이해하는 것입니다.

공식 자료와 함께 읽기

이 글의 작은 행렬과 실행 단계는 원리 설명을 위해 구성한 예제이며, 실제 GPU의 실행 순서나 성능을 측정한 자료가 아닙니다.