GPU Guide

GPU에 대한 설명 및 구매 가이드라인 설정

그래픽카드 = 기판 + GPU + VRAM + 쿨러

Graphic card = Board + Graphic Processing Unit + VRAM + Cooler

CPU vs GPU

• CPU (Central Processing Unit) : Multiple Cores, 여러가지 연산 기능 및 제어 기능을 수행한다.
  굿 Control + 굿 ALUs(Cores) + Cache + RAM 으로 이루어짐.
  그래픽 연산을 할 수는 있지만, 너무 많은 기능을 담당해야 하는 가장의 부담감을 느낀다.
  이 때, GPU한테 그래픽 계산작업을 외주줘서 효율을 높일 수 있다.

• GPU (Graphic Processing Unit) : Many Many Cores, CPU한테 일을 받아서 계산계산계산.
  약한 Control + 약하고&수많은 ALUs(Cores) + Cache + RAM. 2D & 3D Graphic 작업 계산 전용 프로세서.
  그래픽 성능을 크게 향상시키며, 여러개의 코어들을 이용하여 병렬처리를 수행할 수 있다.
  대량계산 및 부동소수점 연산, 행렬연산에 유리하기 때문에 deep learning에 용이하다.

NVidia GTX vs RTX

• GTX : 엔비디아 지포스의 브랜드 네임.
  Giga Texel Xtreme 정도로 받아들일 수도 있겠다. Texel은 3D 그래픽에서 질감을 표현하는 이미지 파일의 개념.
• RTX : 2000번대 엔비디아 GPU의 브랜드 네임.
  기존의 Ray Casting 방식이 아닌, Ray Tracing 광선추적 방식을 사용하여 그래픽 성능을 극대화시키고 화질을 끌어올림.
  계산량 또한 증가하기 때문에 렌더링 속도가 느려진다.
  그래서 RT만 처리하는 RT 코어를 강화시키고 속도를 잡음 -> But, 짱 비쌈.

Geforce vs Quadro vs Tesla

과학자들과 슈퍼히어로 이름으로 네이밍을 함.

• 일반사용자용 : 대중성 지포스 Geforce, 플래그십 타이탄 Titan
• 전문가용 : 캐드 및 그래픽 작업 Quadro, 딥러닝 Tesla

Geforce : 과학자이름+세대+등급. 등급은 80 Ti > 80 > 70 > 60 > 50 > 30 순으로 성능이 갈린다.

레퍼 vs 비레퍼, Reference vs Non-Reference

• Reference : NVidia & AMD에서 GPU와 기판까지 모두 설계해서 만든 그래픽카드.
• Non-Reference : MSI, Gigabyte, Galaxy, Asus 등의 비레퍼 제조사들이, 레퍼 GPU만 사와서 자체기판을 만들고 GPU를 얹어서 비레퍼 그래픽카드로 판매한다.
  쿨러 갯수, 디자인, 색깔, 튜닝이 달라지고 -> 성능 및 가격이 달라진다.

NVIDIA vs AMD (Geforce vs Radeon이라고 볼 수도…)

공통점 : 현존하는 GPU 제조사들(+인텔). 주로 GPU 칩셋을 설계하고 비레퍼 제조사들에 판매하여 수익을 얻는다. GPU의 그래픽 성능을 비교할 때 엔비디아를 더 높게 쳐주지만, AMD는 가성비가 매력적이다. (제조방식 차이에서 오는 가격 경쟁력) GPGPU의 측면에서는 AMD도 안밀린다.

NVIDIA GPU Solution MAP

NVIDIA가 만드는 슈퍼 컴퓨터 (GPU 포함)
DGX - 2 DGX - 1 DGX Station : 개인용

GPU benchmark graph

GPU benchmark graph를 참고하여, GPU 구매를 할 때 의미없이 돈이 새지 않도록 한다.
https://www.videocardbenchmark.net/directCompute.html

그래픽적으로 성능 향상을 원한다면, 3D Mark 벤치마크를 같이 확인하는 것이 좋을 것이다.
https://www.videocardbenchmark.net/high_end_gpus.html

추가적으로, Graphics card의 Viedo memory size도 매우 중요하기 때문에 꼭 고려하도록 한다.

PCI, PCI Express or PCI-e slot

Peripheral Component Interconnect + Express.
컴퓨터의 각종 하드웨어들을 연결하는 Motherboard interface slot이고, computer bus 역할을 수행한다.
좋은 PCI 슬롯을 사용해야, hardware의 I/O 속도를 방해하지 않을 것이다.
GPU의 제원표를 보면, video output 관련해서 interface type: PCI Express 3.0 x16 이라고 적혀있는 것을 확인할 수 있다.
3.0 부분은 버전을 의미하고, 1.0: 250 MB/sec, 2.0: 500 MB/sec, 3.0: 대충 1,000 MB/sec, 1 GB/sec 정도로 I/O interconnection한다.
x16은 말그대로 PCI 3.0의 성능인 1 GB/sec의 x16이라는 뜻이다.
x1부터 x32까지, PCI 슬롯 자체의 길이가 길어짐으로써 더 많은 interconnection을 수행할 수 있기 때문에 직관적으로 쉽게 이해할 수 있다.
속도는 같다는 상황에서 보면, long slot = 한번에 운반량 큼 vs short slot = 한번에 운반량 작음.
결과적으로 long slot일 때 I/O performance 더 좋음.
마더보드에 어떤 PCI-E 슬롯이 있는지, 몇개 있는지 + 어떤 version + 얼마만큼의 lane을 지원하는지 확인해야 한다.
GPU를 구매할 때 interface type을 확인하면, 어떤 PCI-E이 필요한지 알 수 있다.

1 GPU vs 2 GPUs vs 3 GPUs vs 4 GPUs vs 8 GPUs vs 16 GPUs (1 strong vs multiple weak)

여러개의 GPU를 사용할 때 발생하는 문제로는, GPU의 네트워킹 속도 및 용량과 synchronization이 있다.
VRAM과 쿠다 코어를 고려했을 때, 1 Strong GPU가