1. NVIDIA DIGITS 최신 버전 및 LLM 학습 적합성
DIGITS 개요: NVIDIA DIGITS는 Deep Learning GPU Training System으로, 주로 이미지 분류, 세그멘테이션, 객체 탐지 등 컴퓨터 비전 딥러닝 작업을 간편하게 수행하기 위해 개발된 소프트웨어입니다 . 최신 공식 버전은 DIGITS 6.1.1로 2018년에 출시되었으며 , 이후로는 신규 기능 업데이트가 중단된 상태입니다 (NVIDIA는 더 이상 DIGITS를 지원하거나 버그 수정하지 않고 있음) . DIGITS 6 버전에서는 Caffe, Torch(Lua Torch), 그리고 TensorFlow 백엔드를 지원하며, GAN 예제나 텍스트 분류 같은 기능도 일부 추가되었습니다 . 그러나 기본적으로 DIGITS가 다루는 모델 유형은 영상 분야에 국한되며, 자연어 처리나 대형 언어 모델(LLM)을 위한 Transformer 기반 모델 지원은 내장되어 있지 않습니다.
LLM 학습 요구사항: GPT-3와 같은 현대 LLM의 학습에는 막대한 연산량과 메모리가 필요합니다. 예를 들어 GPT-3 (175억 매개변수 모델)는 학습에 약 3.14×10^23 FLOP의 연산이 필요했으며, 이는 NVIDIA V100 GPU로 이론적 성능(28 TFLOPS)에서 355년을 돌려야 하는 규모입니다 . 실제로 OpenAI는 GPT-3 학습에 수백 대의 GPU를 수 주 동안 병렬 가동했습니다. 이러한 LLM들은 수십억~수천억 개의 파라미터를 가지므로, 수백 GB 이상의 GPU 메모리를 동원하여 여러 장비에 모델을 분산시키는 분산 학습이 필수적입니다. 반면 DIGITS는 주로 단일 서버 내에서의 모델 학습을 전제로 설계되었으며, 멀티-GPU는 지원해도 멀티-노드(다중 서버) 분산은 지원하지 않습니다 . 즉, DIGITS 환경에서는 한 대의 머신에 장착된 몇 개의 GPU까지만 활용 가능하고, 클러스터 수준의 LLM 훈련은 범위 밖입니다.
또한 LLM 학습을 위해선 Transformer 계열 모델에 특화된 커스터마이징(예: 거대한 어텐션 행렬 연산 최적화, 병렬화 전략 등)이 필요한데, DIGITS는 이러한 최신 아키텍처 최적화 기능을 제공하지 않습니다. DIGITS가 지원하는 프레임워크(특히 Caffe 등)는 주로 합성곱 신경망(CNN)에 초점을 맞추고 있어, 시퀀스 처리나 Transformer를 다루기에는 적합하지 않습니다. 메모리 면에서도, DIGITS로는 GPU 하나당 수 GB~수십 GB 범위의 메모리에 맞는 모델만 운용하기 쉽고, GPT-3 같은 모델을 메모리에 올리기에는 역부족입니다. 요약하면 NVIDIA DIGITS 최신 버전은 대형 언어 모델 학습용으로 설계되거나 최적화되어 있지 않으며, LLM 학습에 필요한 규모와 요구 사항을 충족하기 어렵습니다.
2. DIGITS의 LLM 학습 및 배포 서비스로서의 유용성 평가
학습 속도 및 성능: LLM과 같이 거대 모델을 학습하려면 연산을 여러 GPU에 분산해 병렬로 처리하여 속도를 높여야 합니다. 그러나 앞서 언급한 대로 DIGITS는 여러 서버에 걸친 분산 학습을 지원하지 않아 확장성이 제한됩니다 . 예를 들어 최신 LLM들은 수십수백 개의 GPU를 동원해도 학습에 며칠에서 몇 주가 걸리는데, DIGITS로는 한 대의 서버(보통 48개 이하의 GPU)에만 의존해야 하므로 학습 속도가 현저히 느려질 것입니다. 또한 DIGITS 자체는 웹 기반 UI로 사용 편의성은 높지만, 초대형 모델 학습 시 필수적인 세밀한 학습 스케줄 조정이나 혼합 정밀도(FP16/BF16) 최적화 등 최신 기법 적용에 한계가 있습니다. 결과적으로 LLM 같은 모델을 DIGITS로 학습하면, 최신 분산 학습 프레임워크를 사용할 때 대비 현저히 낮은 성능과 긴 학습 시간을 감수해야 합니다.
지원 가능한 모델 크기: DIGITS 환경에서는 모델이 단일 GPU 메모리에 올라갈 수 있어야 합니다. 멀티-GPU를 활용하더라도 기본적으로 데이터 병렬성(Data Parallel) 위주로 지원되며, 이는 각 GPU에 동일한 모델 복사를 올려서 다른 데이터 배치를 처리하는 방식입니다. 이런 방식은 모델 자체가 한 GPU 메모리에 들어갈 크기여야만 가능합니다. DIGITS에는 모델 병렬(parallel)로 네트워크의 서로 다른 부분을 여러 GPU에 쪼개 올리는 기능이 없으므로, 개별 GPU의 메모리 한계를 초과하는 거대 모델은 학습하기 어렵습니다. 예컨대 80GB 메모리의 GPU가 있다고 해도, FP16 기준으로 대략 200억300억 매개변수 수준의 모델이 한계인데, GPT-3(1750억 매개변수) 같은 모델은 단일 GPU에 올릴 수 없으므로 DIGITS로 직접 학습할 수 없습니다. 결국 DIGITS로 현실적으로 다룰 수 있는 모델 규모는 수억수십억 매개변수 수준 이하로, 최신 LLM(수백억~수천억 매개변수)의 크기에 비하면 매우 제한적입니다.
확장성 및 인프라: LLM 학습에는 고속의 GPU간 통신과 대용량 데이터 I/O가 요구됩니다. NVIDIA의 최신 AI 시스템들은 NVLink/NVSwitch 같은 전용 GPU 인터커넥트로 GPU들 간 수백 GB/s 급의 대역폭을 제공합니다. 예를 들어 NVIDIA A100 GPU는 3세대 NVLink로 GPU 간 600 GB/s 수준의 통신이 가능하며, H100 GPU는 NVLink4로 900 GB/s까지 향상되었습니다 . 또한 NVSwitch를 통해 한 노드 내 8개의 GPU가 풀메시에 가깝게 연결됩니다. DIGITS는 이러한 인프라적 장점을 활용할 수는 있지만, 문제는 멀티노드 스케일링이 불가하여 노드 간 InfiniBand나 NVLink Switch 네트워크를 통한 확장은 지원하지 않는다는 점입니다. 따라서 수십~수백개의 GPU를 묶는 HPC 클러스터 환경을 요구하는 LLM 학습에는 DIGITS가 애초에 맞지 않습니다. DIGITS의 권장 하드웨어는 주로 한 대의 워크스테이션이나 DGX같은 단일 서버로, 해당 기본 하드웨어 스펙 자체가 LLM 학습에 필요한 규모보다 작습니다.
LLM 모델 배포 측면: DIGITS는 학습된 모델을 시각화하거나 간단히 평가하는 기능은 있으나, 이를 실서비스에 배포하는 용도로 설계된 플랫폼은 아닙니다. DIGITS 6.1에서는 한정적으로 TensorRT Inference Server(현재의 NVIDIA Triton)로 분류 모델을 내보내는 기능이 추가되었지만 , 이는 이미지 분류 등의 작은 모델에 국한된 워크플로우였습니다. LLM과 같은 대규모 모델의 실시간 추론 서비스를 위해서는 분산 서버, 동적 배칭, 모델 최적화(예: 양자화, 텐서 병합) 등이 필요하며, 이러한 기능은 NVIDIA Triton Inference Server나 Hugging Face Transformers, FasterTransformer 등의 전문 서빙 솔루션이 담당합니다. DIGITS에는 이러한 대규모 추론 최적화나 멀티노드 서비스 기능이 없으므로, LLM을 DIGITS로 배포하는 것은 현실적이지 않습니다. 또한 DIGITS는 2018년 이후 업데이트가 중단되어 최신 Transformer 모델의 토크나이저나 추론 가속 기법(Tensor Parallelism, KV 캐싱 최적화 등)을 지원하지 않습니다. 요약하면 DIGITS는 LLM의 학습부터 배포까지 전체 사이클을 감당하기에는 역부족이며, 학습 속도, 모델 크기 한계, 확장성, 배포 편의성 모든 면에서 LLM 워크로드에 부적합합니다.
3. LLM 학습을 위한 최적의 NVIDIA GPU 및 서버 장비
권장 하드웨어 개요: DIGITS를 사용하지 않는다면, LLM 학습에는 최신의 고성능 GPU와 이를 묶은 분산 학습 인프라를 사용하는 것이 바람직합니다. 현재 NVIDIA에서 제공하는 최고 성능의 AI 트레이닝용 GPU는 **A100 (Ampere 아키텍처)**와 **H100 (Hopper 아키텍처)**입니다. 이 GPU들은 대용량 HBM 메모리와 높은 연산 성능, 그리고 GPU간 초고속 연결을 갖추어 LLM같이 큰 모델을 효율적으로 학습시키도록 설계되었습니다. 또한 NVIDIA는 이러한 GPU를 8개씩 묶은 DGX 시스템(서버)을 판매하고 있어, 하드웨어와 소프트웨어 스택이 최적 구성된 상태로 제공됩니다.
• NVIDIA A100 80GB: 2020년에 출시된 Ampere 세대 GPU로, 80GB의 HBM2e 메모리를 탑재하고 있습니다. 한 장비에 여러 A100을 NVLink로 연결해 사용하면, 예를 들어 8개의 A100이 있는 DGX A100 시스템은 총 640GB의 GPU 메모리를 활용할 수 있어 대용량 모델도 부분적으로 분산 저장이 가능합니다 . A100의 절반 정밀도(FP16/BF16) 연산 성능은 약 312 TFLOPS에 달하며 , Tensor 코어를 이용해 AI 연산을 가속합니다. A100은 현재까지도 LLM 학습에 널리 사용되고 있는데, Meta의 OPT-175B 모델도 80GB A100 992개를 활용해 학습되었습니다 . A100 기반 서버는 NVSwitch를 통해 GPU간 600 GB/s 수준의 통신 대역폭을 갖고 있어 멀티 GPU 학습 효율이 높습니다 . 다만 Ampere 세대에서는 Transformer 연산에 특화된 추가 가속 기능은 없었기 때문에, 다음 세대에 비해 성능 효율은 낮은 편입니다.
• NVIDIA H100 80GB: 2022년에 출시된 Hopper 세대 GPU로, 80GB HBM3 메모리를 탑재하고 메모리 대역폭이 3TB/s를 넘을 정도로 향상되었습니다 . 가장 큰 개선은 Transformer 같은 대형 AI 모델을 위한 특화 기술인 Transformer Engine의 도입입니다. H100의 4세대 Tensor 코어는 FP8 저정밀도 연산을 지원하여, 자동으로 FP8/FP16 혼합 정밀도를 활용하는 Transformer Engine을 사용하면 LLM 학습 시 최대 9배의 속도 향상을 얻을 수 있다고 보고되었습니다 . 실제로 H100 한 개의 FP16 연산 성능은 약 989 TFLOPS로 A100의 3배 이상이며 , BF16/FP8 혼용 시 훨씬 높은 유효 성능을 낼 수 있습니다. NVLink 4 인터커넥트를 통해 H100 GPU들 간에는 최대 900 GB/s 속도로 데이터를 주고받을 수 있고 , 3세대 NVSwitch 기술로 한 노드에 8개의 H100을 완전 연결하여 총 7.2TB/s에 달하는 GPU간 대역폭을 제공합니다 . 이는 곧 256개 GPU까지 클러스터를 구성해도 효율적으로 통신할 수 있는 NVLink Switch 시스템으로 확장될 수 있으며 , 초대형 LLM을 분산 학습하는 데 최적입니다. 요약하면 H100 GPU는 현 시점에서 LLM 학습/추론에 가장 강력한 NVIDIA 하드웨어이며, 메모리 대역폭과 연산능력, 확장성 면에서 이전 세대보다 크게 향상되었습니다.
• NVIDIA DGX 시스템: NVIDIA의 DGX 서버 시리즈는 위 GPU들을 통합한 턴키 솔루션입니다. 예를 들어 DGX A100은 A100 8개와 Dual AMD EPYC CPU, 1TB 시스템 메모리로 구성된 6U 서버였으며, DGX H100은 H100 8개와 Dual Intel Xeon CPU, 2TB 메모리로 구성된 8U 시스템입니다 . DGX H100 한 대는 FP8 정밀도 32페타플롭스 성능을 내며, 이전 세대 대비 6배 이상의 AI 성능을 제공합니다 . 이러한 시스템은 NVIDIA AI Enterprise 소프트웨어 스택과 최적화된 HPC 인프라가 함께 제공되어, 대규모 모델 학습에 필요한 딥러닝 프레임워크, CUDA 라이브러리, NCCL 통신 라이브러리 등이 사전 구성됩니다. DGX SuperPOD와 같은 솔루션을 통해 여러 DGX 노드를 InfiniBand 네트워크로 묶으면, 기업이나 연구기관 단위의 초거대 모델 학습용 슈퍼컴퓨터를 구축할 수도 있습니다. 실제로 엔비디아는 1엑사플롭 규모의 LLM 훈련을 위해 DGX SuperPOD (서브클러스터 32노드 단위) 아키텍처를 제시하고 있습니다.
이외에도 NVIDIA는 **Grace Hopper Superchip (GH200)**과 같은 CPU-GPU 통합 솔루션도 내놓고 있습니다. Grace CPU + H100 GPU가 NVLink으로 직접 연결된 GH200은 각 GPU에 최대 141GB의 통합 메모리를 제공하여 메모리 집약적인 LLM에 유리한 환경을 제공합니다 . 이러한 최신 하드웨어들은 DIGITS와 같은 과거 소프트웨어가 아닌, PyTorch+DeepSpeed 혹은 NVIDIA NeMo Megatron 등 현대적인 LLM 전용 소프트웨어 프레임워크와 함께 사용되어야 최대 효과를 볼 수 있습니다. 정리하면, LLM 학습에는 NVIDIA의 A100/H100 GPU를 기반으로 한 DGX 등의 고성능 시스템이 최적이며, 이들은 필요한 메모리 용량, 연산 속도, 확장성을 모두 충족시켜 줍니다. DIGITS를 고려하기보다는 이런 플랫폼에서 동작하는 PyTorch+CUDA 또는 TensorFlow 등을 통해 모델을 학습시키고, 배포 시에는 NVIDIA Triton Inference Server같은 전문 배포용 소프트웨어를 사용하는 것을 권장합니다.
4. 유사 사양의 GPU/서버 장비와의 비교 분석
NVIDIA의 최신 GPU/DGX 솔루션을 다른 벤더나 이전 세대와 성능, 확장성, 가격, 소비전력 측면에서 비교하면 다음과 같습니다.
• 성능 비교: 현 세대 최상위 GPU인 NVIDIA H100은 이전 세대 A100에 비해 대폭 향상된 성능을 보입니다. H100의 경우 트랜스포머 엔진 덕분에 LLM 학습에서 최대 9배의 속도 향상을 달성하며, 추론에서는 최대 30배까지 가속된 사례가 보고되었습니다 . 한편 AMD의 데이터센터 GPU 제품인 Instinct MI250X(2021년 출시, CDNA2 아키텍처)는 NVIDIA A100과 같은 세대에 대응하는 제품입니다. MI250X는 하나의 보드에 2개의 GPU 다이가 있는 구성으로 총 128GB의 HBM2e 메모리를 제공하여 메모리 용량 면에서는 A100(최대 80GB)보다 우위에 있습니다 . 성능 면에서는 Databricks의 LLM 학습 벤치마크에 따르면 MI250의 학습 성능이 A100-80GB의 약 77~85% 수준으로 나타났습니다 . 즉 동일한 개수의 GPU를 쓸 경우 MI250이 A100보다 약간 느리지만, 메모리가 크다는 이점으로 더 큰 배치나 모델을 올릴 수 있는 장점이 있습니다 . AMD MI300X(2024년 예정, CDNA3 아키텍처)는 MI250의 후속으로, 192GB의 방대한 HBM3 메모리와 초당 5.2TB에 달하는 메모리 대역폭을 갖춰서 NVIDIA H100과 경쟁하도록 설계되었습니다 . MI300X의 공개된 사양을 보면 FP16 연산 성능이 약 2.6PFLOPS(2615 TFLOPS) 수준으로 추정되는데 , 이는 H100의 ~1PFLOPS보다 큰 폭으로 높습니다 (다만 MI300X 수치는 8개 칩 전체 합산 성능으로 보이며, 실효 성능은 워크로드에 따라 달라질 수 있음). 종합적으로 볼 때, NVIDIA H100이 현재 단일 GPU 기준 최고 성능이지만, AMD도 메모리 용량을 키우고 대역폭을 높여 특정 작업에서는 경쟁력을 확보하고 있습니다. 또한 Google TPU v4와 같은 ASIC 기반 가속기도 있는데, 이는 구글의 LLM (예: PaLM 등) 훈련에 사용된 하드웨어로 8개 TPU 보드가 하나의 팟(Pod)으로 연결되어 높은 연산량과 대역폭을 제공합니다. TPU는 GPU와 아키텍처 및 생태계가 다르지만, LLM 분야에서 NVIDIA GPU의 주요 대안으로 거론됩니다.
• 확장성: 대규모 모델 학습에서는 단일 GPU 성능뿐 아니라 멀티 GPU/멀티 노드 확장성이 중요합니다. NVIDIA는 NVLink 및 NVSwitch 기술로 **노드 내 GPU 당 연결 수 18개, GPU-간 대역폭 900GB/s (H100 기준)**의 상호연결을 제공합니다 . 또한 NCCL 라이브러리를 통해 여러 GPU간 통신을 최적화하여 거의 선형에 가까운 스케일업을 달성합니다. AMD 역시 Infinity Fabric이라는 기술로 한 보드 내 다중 GPU 다이를 연결하고, 다중 보드 간에는 PCIe 및 Infinity Fabric이 연계되어 통신합니다 . 하지만 MI250 세대까지는 NVIDIA의 NVSwitch 같은 전용 스위치가 없어서 노드 내 GPU 통신 토폴로지가 제한적이었습니다. MI300 시리즈에서는 한 섀시에 여러 GPU를 연결하는 UBB(Universal Base Board) 2.0 구조와 7개 링크의 Infinity Fabric 인터커넥트(각 128GB/s) 등을 도입하여 NVSwitch에 근접한 노드 내 통신망을 구현한 것으로 알려졌습니다 . 다만 소프트웨어 측면에서 AMD의 RCCL(ROCm용 NCCL 대체)이나 분산 학습 스택은 과거에는 성숙도가 낮았으나, 최근 PyTorch 등이 AMD GPU도 원활히 구동되도록 발전하고 있습니다 . 반면 NVIDIA는 다년간 CUDA 생태계를 발전시켜왔고, 대규모 분산 학습 레퍼런스도 풍부하여 실제 확장 운용의 용이성은 NVIDIA 쪽에 이점이 있습니다. 한편 Google TPU는 자체 상호연결망 (Scalability Fabric)을 통해 수천 개까지 TPU를 연결할 수 있어 구글 내부적으로 초거대 모델 학습에 활용되고 있습니다. 다만 TPU는 일반에 판매되는 제품이 아니며, GCP 클라우드 서비스를 통해서만 이용 가능한 점이 GPU와 다릅니다.
• 가격: 고성능 AI 하드웨어는 가격대가 매우 높기 때문에 투자비용 대비 효율도 고려해야 합니다. NVIDIA DGX 시스템은 완성형 솔루션인 만큼 가격이 비싸며, **DGX A100 (8×A100)**의 출시가는 약 $20만 달러(한화 2억 이상) 수준으로 알려져 있습니다. DGX H100은 그보다 더 비싸며, GPU 한 개당 수만 달러에 이르는 최상위 장비입니다. 이에 비해 AMD Instinct GPU들은 같은 급의 NVIDIA 대비 가격이 저렴하거나, 또는 비슷한 가격에 더 많은 메모리를 제공합니다. 일례로 MI250은 가격 대비 성능비가 우수한 것으로 평가되며 , 클라우드에서도 NVIDIA 대비 저렴하게 제공되기도 합니다. 예를 들어 일부 CSP에서는 A100 대비 낮은 비용으로 MI250 인스턴스를 제공하여 비용 민감한 LLM 학습에 어필하고 있습니다. 전력 효율도 곧 비용과 직결되는데, 다음 항목에서 다루겠지만 AMD GPU가 메모리 크기 대비 와트당 성능 효율이 나쁘지 않다면 총 소유 비용(TCO) 측면에서 경쟁력이 있을 수 있습니다. 한편, 자체 서버를 구매하지 않고 클라우드 GPU 인스턴스를 사용하는 것도 한 방법인데, 초기 투자비는 없지만 장기적으로 24/7 운영 시에는 1년 만에 하드웨어 구매가와 맞먹는 비용이 발생할 수 있다는 분석도 있습니다 . 따라서 꾸준한 LLM 연구/서비스를 할 계획이라면 직접 하드웨어를 구축하는 편이 경제적일 수 있습니다.
• 소비 전력: 최신 고성능 GPU일수록 전력 소모가 큰 편이며, 이를 다수 사용하면 시스템 전력도 상당합니다. NVIDIA A100(SXM4 모듈)은 TDP가 400W이고 , H100(SXM5 모듈)은 최대 700W에 달합니다 . AMD MI250X는 약 500W 수준이고 , MI300X는 무려 750W까지 전력을 사용할 수 있도록 설계되었습니다 . 이는 HBM3 메모리 증가와 여러 칩レット 구성으로 인한 것으로 보입니다. 서버 단위 소비전력을 보면, DGX A100(8× A100)의 최대 시스템 전력은 약 6.5kW이고 , DGX H100(8× H100)은 10kW 안팎까지 요구됩니다 . AMD MI250 4개 보드(8개 다이)를 장착한 서버는 대략 34kW 수준으로 추산되며 , MI300X 8개 보드 시스템은 56kW 이상 필요할 수 있습니다. 전력 소모는 곧 발열과 냉각 비용을 의미하기 때문에, 동일 성능이라면 더 적은 전력을 쓰는 쪽이 유리합니다. 그런 면에서 H100은 절대 전력은 높지만 성능 향상이 더 커서 전력당 성능은 개선되었고, AMD 역시 MI300에서 메모리당 효율을 끌어올리려 하고 있습니다. 요약하면, NVIDIA vs AMD의 하드웨어 경쟁은 “더 높은 절대 성능 vs 더 큰 메모리와 나은 가격” 구도로 볼 수 있습니다. NVIDIA H100 계열이 최고 성능을 주도하지만 비용과 전력 소모가 크고, AMD Instinct 계열은 다소 낮은 성능을 더 낮은 비용과 더 큰 메모리 용량으로 만회하는 전략입니다. 최종 선택은 사용자의 예산, 소프트웨어 친숙도(CUDA vs ROCm), 목표 모델 크기에 따라 달라질 것입니다. 대체로 엔터프라이즈에서는 성능과 소프트웨어 생태계의 성숙도를 중시해 NVIDIA를 선호하는 반면, 학술 연구나 제한된 예산에서는 AMD 장비나 클라우드 TPU 등으로도 충분히 실험을 시도해볼 수 있습니다.
주요 GPU 사양 비교표
GPU (아키텍처)메모리 용량메모리 대역폭연산 성능 (FP16/BF16)GPU간 인터커넥트TDP(소비전력)
| NVIDIA A100 80GB (Ampere, 2020) | 80 GB HBM2e | ~2.0 TB/s | ~312 TFLOPS | NVLink 3 (600 GB/s) | 400 W |
| NVIDIA H100 80GB (Hopper, 2022) | 80 GB HBM3 | ~3.3 TB/s | ~990 TFLOPS* | NVLink 4 (900 GB/s) | 700 W |
| AMD MI250X (CDNA2, 2021) | 128 GB HBM2e | ~3.3 TB/s | ~362 TFLOPS | Infinity Fabric & PCIe4 | 500 W |
| AMD MI300X (CDNA3, 2024) | 192 GB HBM3 | ~5.3 TB/s | ~2615 TFLOPS | 7× Infinity Links (128 GB/s each) | 750 W |
*H100의 990 TFLOPS는 FP16 기준 이론치이며, FP8 혼합정밀도 사용시 더 높은 효과적 연산성능을 발휘합니다.
위와 같이, NVIDIA DIGITS 소프트웨어 자체는 대형 언어 모델의 학습이나 배포에는 적합하지 않으며, 대신 최신 GPU 하드웨어와 분산 학습 소프트웨어 스택을 활용하는 것이 현실적인 대안입니다. NVIDIA의 H100과 DGX 시스템은 뛰어난 성능과 완성도를 지녔지만 비용이 매우 높고, AMD Instinct 시리즈는 약간 낮은 성능대신 메모리 장점과 비용 효율을 제공합니다. 사용자는 자신이 목표하는 LLM 규모와 예산, 그리고 활용 가능한 소프트웨어 생태계를 고려하여 최적의 하드웨어를 선택해야 합니다. 만약 예산이 충분하고 최고의 성능이 필요하다면 NVIDIA H100 기반 시스템이 바람직하며, 예산 제약이 있고 일정 수준 성능으로도 충분하다면 AMD MI250/MI300 기반 서버나 클라우드 GPU/TPU 서비스도 검토할 수 있습니다. 무엇보다 중요한 것은 모델 학습에 필요한 소프트웨어 지원 및 커뮤니티 자료의 풍부함인데, 이 면에서 현재까지는 NVIDIA CUDA 진영이 우세하므로, 대다수 LLM 연구에는 NVIDIA 플랫폼이 선호되는 추세입니다. 향후 AMD와 기타 가속기들도 소프트웨어 호환성을 개선하고 있어 선택지가 늘어날 것으로 기대됩니다.
