AI 모델3 NVIDIA DIGITS와 대형 언어 모델(LLM) 학습에 대한 평가 보고서 1. NVIDIA DIGITS 최신 버전 및 LLM 학습 적합성 DIGITS 개요: NVIDIA DIGITS는 Deep Learning GPU Training System으로, 주로 이미지 분류, 세그멘테이션, 객체 탐지 등 컴퓨터 비전 딥러닝 작업을 간편하게 수행하기 위해 개발된 소프트웨어입니다 . 최신 공식 버전은 DIGITS 6.1.1로 2018년에 출시되었으며 , 이후로는 신규 기능 업데이트가 중단된 상태입니다 (NVIDIA는 더 이상 DIGITS를 지원하거나 버그 수정하지 않고 있음) . DIGITS 6 버전에서는 Caffe, Torch(Lua Torch), 그리고 TensorFlow 백엔드를 지원하며, GAN 예제나 텍스트 분류 같은 기능도 일부 추가되었습니다 . 그러나 기본적으로 DIGITS.. 2025. 2. 22. [deepseek #준비] deepseek 로컬설치 모델 선택 #2 기본 설치 모델 선정:시스템 : Windows11 Pro, CPU: i7 13th Gen. 2.10Ghz, 128GB RAM, RTX 4070 ti (22GB VRAM)실행 윈도우 UI 앱 : LM Studio설치 모델 : unsloth/DeepSeek-R1-Distill-Llama-8B-GGUFDeepSeek-R1-Distill-Llama-8B-GGUF 모델을 로컬에서 실행하기 위해서는, 시스템 사양과 요구 사항에 맞는 적절한 파일을 선택하는 것이 중요합니다. 해당 모델의 Hugging Face 페이지에서는 다양한 양자화 수준의 GGUF 파일을 제공합니다.권장 파일 선택:귀하의 시스템 사양(GeForce RTX 4070 Ti, 128GB RAM, 500GB SSD)을 고려할 때, 다음과 같은 파일을 선.. 2025. 2. 1. [deepseek #준비] deepseek 로컬 머신에 설치를 위한 모델 선정 deepseek 를 설치하려고 해도 모델과 사양이 다양해서 설치부터 어려움이 많습니다.현재 보유 중인 시스템 사양(GeForce RTX 4070 Ti, 128GB RAM, 500GB SSD)을 고려할 때, 다음과 같은 모델 선택을 권장하고 있습니다.모델 크기:7B 모델: 이러한 모델은 상대적으로 가벼워, 현재 시스템에서 원활하게 실행될 수 있습니다. 예를 들어, LLaMA 7B 모델은 약 13GB의 GPU 메모리를 필요로 하며, 이는 RTX 4070 Ti의 12GB VRAM으로도 충분히 처리 가능합니다.14B 모델: 이 모델들은 더 많은 자원을 요구하며, 특히 VRAM이 12GB인 경우 실행에 어려움이 있을 수 있습니다. 일부 최적화 기법을 적용하면 실행이 가능할 수 있으나, 성능 저하나 기타 제약이 발.. 2025. 1. 31. 이전 1 다음 반응형
