C 시작하기 - 병렬 프로그래밍

병렬 프로그래밍(Parallel Programming)은 여러 프로세스나 스레드가 동시에 실행되도록 프로그램을 작성하는 방법입니다.
이를 통해 프로그램의 성능을 향상시키고, 특히 많은 계산이나 작업을 동시에 처리할 수 있는 시스템에서 효율성을 극대화할 수 있습니다.
병렬 프로그래밍은 주로 다중 코어 프로세서 또는 다중 프로세서를 사용하는 시스템에서 사용됩니다.

병렬 프로그래밍의 주요 개념

1. 병렬성(Parallelism):

   • 데이터 병렬성: 동일한 작업을 서로 다른 데이터에 대해 동시에 수행하는 것. 예를 들어, 대규모 행렬의 각 요소를 동시에 계산하는 경우.
   • 작업 병렬성: 서로 다른 작업을 동시에 수행하는 것. 예를 들어, 웹 서버가 여러 클라이언트의 요청을 동시에 처리하는 경우.

2. 동시성(Concurrency):

   • 여러 작업이 동시에 진행되는 것처럼 보이는 것을 의미합니다. 동시성은 병렬성과 다르게 물리적으로 동시에 실행되지 않을 수도 있지만, 프로그램 구조적으로 동시에 처리되는 것처럼 구성됩니다.

3. 공유 메모리 모델(Shared Memory Model):

   • 모든 프로세스나 스레드가 동일한 메모리 공간을 공유하는 모델입니다. 이 모델에서는 변수나 데이터를 공유할 수 있지만, 동기화 문제가 발생할 수 있습니다.

4. 메시지 전달 모델(Message Passing Model):

   • 각 프로세스나 스레드가 독립된 메모리 공간을 가지고, 메시지를 통해 데이터를 주고받는 모델입니다. MPI(Message Passing Interface)가 이 모델의 대표적인 예입니다.

5. 동기화(Synchronization):

   • 여러 프로세스나 스레드 간에 작업 순서를 맞추기 위해 동기화가 필요합니다. 이를 통해 데이터 경쟁 상태(race condition)나 교착 상태(deadlock)를 방지할 수 있습니다. 동기화 방법으로는 락(lock), 세마포어(semaphore), 배리어(barrier) 등이 있습니다.

병렬 프로그래밍의 종류

1. 스레드 기반 병렬 프로그래밍:

   • OpenMP: C, C++, Fortran에서 사용할 수 있는 병렬 프로그래밍을 위한 API입니다. 주로 #pragma omp 지시어를 사용해 코드의 특정 부분을 병렬로 실행되도록 지정할 수 있습니다.
   • POSIX 스레드(Pthreads): Unix 기반 시스템에서 사용할 수 있는 스레드 기반 병렬 프로그래밍 라이브러리입니다.

2. 프로세스 기반 병렬 프로그래밍:

   • MPI (Message Passing Interface): 여러 노드에서 실행되는 프로그램 간에 메시지를 주고받는 방식으로 병렬 처리를 구현하는 데 사용됩니다. 주로 슈퍼컴퓨터나 클러스터에서 사용됩니다.

3. GPU 병렬 프로그래밍:

   • CUDA: NVIDIA GPU에서 병렬 처리를 수행하기 위해 사용하는 프로그래밍 모델입니다. GPU의 수천 개 코어를 활용하여 대규모 병렬 계산을 수행할 수 있습니다.
   • OpenCL: CPU, GPU, FPGA 등 다양한 하드웨어에서 병렬 처리를 수행하기 위한 프로그래밍 프레임워크입니다.

예시 코드 (OpenMP)

다음은 OpenMP를 사용한 간단한 C 코드 예시입니다.

#include <omp.h>
#include <stdio.h>

int main() {
    int n = 1000;
    int array[n];

    // 배열 초기화
    for (int i = 0; i < n; i++) {
        array[i] = i;
    }

    // OpenMP를 사용하여 배열의 각 요소를 2배로 만드는 병렬 처리
    #pragma omp parallel for
    for (int i = 0; i < n; i++) {
        array[i] = array[i] * 2;
    }

    // 결과 출력
    printf("array[0] = %d, array[999] = %d\n", array[0], array[999]);

    return 0;
}

이 코드에서 #pragma omp parallel for는 for 루프를 병렬로 실행하도록 컴파일러에 지시합니다. OpenMP는 사용자가 직접 스레드를 생성하거나 관리할 필요 없이 쉽게 병렬 처리를 구현할 수 있게 해줍니다.

병렬 프로그래밍의 이점과 도전 과제

• 이점: 프로그램 성능 향상, 처리 시간 단축, 대규모 데이터 처리에 적합
• 도전 과제: 복잡한 코드 구조, 동기화 문제, 디버깅의 어려움, 병목 현상 관리

병렬 프로그래밍은 고성능 컴퓨팅 분야에서 필수적인 기술이며,
이를 통해 현대 컴퓨터 하드웨어의 성능을 최대한 활용할 수 있습니다.