전체 글429 7B LLM 파인튜닝 머신 고민 - 맥미니 + eGPU 사용? 맥 미니 M4 Pro에 외장 GPU(eGPU)를 연결하여 7B LLM 파인튜닝을 시도하는 것이 이론적으로 가능하지만, 다음과 같은 제한사항과 고려해야 할 요소가 있습니다.1. eGPU 지원 여부Apple Silicon 기반의 맥(M1, M2, M3, M4 시리즈)은 eGPU를 공식적으로 지원하지 않습니다.이는 Apple이 자체 GPU 성능에 의존하며, Thunderbolt 연결을 통한 외장 GPU 사용을 허용하지 않기 때문입니다.Intel 기반 맥은 eGPU를 지원했지만, Apple Silicon 맥은 지원을 중단한 상태입니다.Apple Silicon 기반 시스템에서는 eGPU 연결을 위한 드라이버가 없으므로 NVIDIA GPU를 연결하여 CUDA를 활용한 PyTorch/TensorFlow 작업이 불가능.. 2025. 1. 25. 7B LLM 파인튜닝 머신 고민 - 맥미니 m4 pro 검토 맥 미니 M4 Pro 최고 사양으로 7B LLM 파인튜닝이 가능한지 검토해 보겠습니다.M4 Pro 최고 사양 분석최신 Apple Silicon M4 Pro 칩의 주요 사양:CPU: 10~12코어 (고성능 코어 + 고효율 코어).GPU: 20~32코어 수준으로 예상.RAM: 최대 32GB 또는 64GB 통합 메모리(UMA).SSD: 초고속 NVMe SSD (최대 8TB).7B LLM 파인튜닝에 필요한 요구사항GPU 메모리:일반적으로 **16GB 이상의 GPU 전용 메모리(VRAM)**이 요구되며, 24GB 이상이면 효율적.RAM:GPU 메모리가 부족할 경우 CPU 메모리를 활용하게 되므로 64GB 이상이 권장됩니다.저장공간:모델과 데이터 저장용으로 최소 1TB SSD가 필요.ML 라이브러리 지원:PyTor.. 2025. 1. 25. 7B LLM 파인튜닝 머신 고민 - 맥북프로 m4 max 검토 맥북 프로 M4 Max 최고 사양으로 7B LLM 파인튜닝이 가능한지 검토해보면 다음과 같습니다:M4 Max 사양 분석최신 Apple Silicon M4 Max 칩은 다음과 같은 특징을 가질 가능성이 높습니다:CPU: 12~16코어 수준의 고효율/고성능 코어 구성.GPU: 40~64코어로 이전 세대 대비 성능이 크게 강화.RAM: 통합 메모리(최대 128GB 이상, LPDDR5).SSD: 초고속 NVMe SSD (최대 8TB).파인튜닝에 필요한 요구사항GPU 메모리: 7B 모델의 파인튜닝은 GPU의 VRAM이 중요합니다. 일반적으로 16~24GB 이상의 GPU 메모리가 요구됩니다.RAM: CPU 메모리를 사용하는 경우 64GB 이상이 필요하며, 128GB가 권장됩니다.저장공간: 모델 및 데이터 파일 저장.. 2025. 1. 25. [5090 #CPU] 각 단계별 사용 인텔-AMD CPU 직접 비교 아래는 인텔과 AMD 기반 사양의 각 레벨(최고급, 고급, 최소사양)을 평가항목별로 비교한 내용입니다. 평가항목과 설명, 그리고 장단점 및 평점도 포함되어 있습니다.평가 항목과 설명성능: CPU와 GPU 성능을 기준으로 대규모 LLM 작업의 효율성을 평가.확장성: 메모리 용량 및 저장장치의 확장 가능성.안정성: 장시간 연속 작업 시의 안정성과 열 관리 능력.가격 대비 가치: 성능과 구성 대비 비용 효율성.업그레이드 가능성: 향후 하드웨어 교체나 업그레이드 용이성.1. 최고급 사양 비교평가 항목 AMD (Threadripper 7995WX) 인텔 (Xeon W-3495X) 비교성능다수의 코어(96코어, 192스레드)로 병렬 작업 최적화코어는 적지만 클럭당 성능이 우수 (56코어, 112스레드)AMD가 병렬.. 2025. 1. 25. [5090 #인텔] RTX 5090 시리즈로 7B LLM 파인튜닝 인텔 머신 구성하기 먼가 아쉬운 마음에 다시 한번 정리합니다. 아래는 인텔 기반의 최고급, 고급, 최소사양 장비 구성을 제안합니다. 각 구성은 예산과 7B LLM 파인튜닝을 고려하여 설계되었습니다.1. 최고급 사양목적: 가장 고성능의 인텔 시스템으로 대규모 LLM 모델 학습과 파인튜닝에 최적화.예산: 약 1200~1500만 원.구성 요소제품명/스펙이유가격(대략)GPUNVIDIA RTX 5090 Ti (32GB GDDR7)대규모 데이터 처리 및 VRAM 활용 가능약 500만 원CPUIntel Xeon W-3495X (56코어, 112스레드)멀티스레드와 병렬 처리에서 최상의 성능 제공약 700만 원RAM512GB DDR5 ECC Registered대규모 데이터를 안정적으로 처리약 400만 원저장장치Samsung 990 Pro .. 2025. 1. 25. [5090 #CPU] RTX 5090 시리즈 - 7B LLM 파인튜닝 머신 구성에 인텔이 없는 이유? 인텔 CPU를 포함하지 않은 이유는 AMD 계열이 LLM 파인튜닝 작업에 더 적합하다고 판단했기 때문입니다. 하지만, 인텔 CPU 역시 훌륭한 옵션입니다.AMD 계열을 우선 선택한 이유코어 수와 멀티스레드 성능:AMD의 Threadripper 시리즈는 코어와 스레드 수가 많아 대규모 병렬 연산이 필요한 LLM 작업에 특히 강력합니다.AMD의 3D V-Cache 기술(Ryzen 9 7950X3D)은 대규모 메모리 접근 속도가 빠르고, AI 작업에서 이점을 제공합니다.가격 대비 성능:AMD 프로세서는 동일 가격대에서 더 많은 코어와 스레드를 제공해 가성비가 우수합니다.ECC 메모리 지원이 더 강력해 대규모 데이터 작업에 안정적입니다.확장성과 메모리 대역폭:Threadripper와 같은 고급 모델은 메모리 채.. 2025. 1. 25. [5090 #PC구성] RTX 5090 시리즈로 7B LLM 파인튜닝 머신 구성하기 아래는 RTX 5090 시리즈 전체를 활용한 최고급, 고급, 최소사양 구성입니다. 각각의 구성은 예산, 성능, 작업 목표를 기준으로 설계되었으며, 7B LLM 파인튜닝 작업에 적합하게 설계되었습니다.1. 최고급 사양목적: 7B 이상의 대규모 LLM 모델을 최고 성능으로 처리. 연구, AI 모델 개발, 데이터 과학을 위한 최상의 옵션.예산: 약 1200~1500만 원.구성 요소제품명/스펙이유가격(대략)GPUNVIDIA RTX 5090 Ti (32GB GDDR7)최고 성능과 대규모 VRAM 제공약 500만 원CPUAMD Threadripper PRO 7995WX (96코어)고성능 병렬 연산과 멀티스레드 작업 지원약 600만 원RAM512GB DDR5 ECC Registered대규모 데이터 로딩과 안정적 연산.. 2025. 1. 25. [비교] 개발장비 선택 - 윈도우 i7 13th, 맥미니 m4 pro 풀스택 개발자로서의 작업 효율성을 고려해, 현재 사용 중인 Windows PC와 Mac Mini M4 Pro 최고 사양을 비교합니다. 각 장비가 제공하는 성능과 개발 환경의 적합성을 항목별로 분석하고, 최종 추천 장비와 이유를 제시합니다.1. 비교 사양Windows PCCPU: Intel i7 13세대 (2.1GHz, 최대 5.2GHz)RAM: 128GB DDR4GPU: NVIDIA RTX 4070 TiOS: Windows 11 ProMac Mini M4 Pro (최고 사양)CPU: Apple M4 Pro (12코어 CPU, 19코어 GPU)RAM: 128GB 통합 메모리Storage: 최대 8TB SSDOS: macOS Sonoma특징: ARM 기반 SoC(시스템 온 칩) 아키텍처, macOS 최적화2.. 2025. 1. 24. [맥] 부팅속도 및 시스템 느려지는 이슈 해결의 일반적인 방법 최근 몇주 사이에 사용 중인 맥북프로 m2 모델이 마우스 이동시 반응이 느려지거나 행 걸리는 경우도 있지만, 부팅도 점점 느려지고 있습니다. 심지어 같이 켜는 윈도우PC 보다 느린 경우도 생기고 있습니다. 그래서 원인과 해결 방법을 정리 해 봤습니다.맥북 프로 M2의 부팅 속도가 느려지고 마우스 반응이 지연되는 현상은 여러 가지 요인에 의해 발생할 수 있습니다. 아래에 일반적인 원인과 구체적인 해결 방법을 정리해 드리겠습니다. 1. 부팅 속도 저하의 원인 및 해결 방법 • 로그인 항목 과다: 시작 시 자동 실행되는 프로그램이 많으면 부팅 속도가 느려집니다. • 해결 방법:• 시스템 설정 > 일반 > 로그인 항목으로 이동합니다.• 불필요한 항목을 선택하고 - 버튼을 클릭하여 제거합니다. • 시스템 확장 프.. 2025. 1. 21. [블록체인 #팁] docker 에서 solana-cli 설치 Docker 환경에서 Solana CLI를 설치하고 사용하는 것은 가능합니다. 이를 통해 시스템에 직접 설치하지 않고도 Solana CLI를 활용할 수 있습니다. 이미 Docker 이미지를 제공하는 리포지토리가 존재하며, 이를 활용하여 손쉽게 설정할 수 있습니다. 설치 및 실행 방법:Docker 설치:시스템에 Docker가 설치되어 있지 않다면, Docker 공식 사이트를 참고하여 설치하세요.Solana CLI Docker 이미지 실행:다음 명령어를 사용하여 Docker Hub에 공개된 Solana CLI 이미지를 실행할 수 있습니다:docker run -it --rm andreaskasper/solana:cli이 명령어는 일회성으로 컨테이너를 실행하며, 종료 시 자동으로 삭제됩니다.지갑 생성 및 관리:.. 2025. 1. 20. [블록체인 #준비] Solana 플랫폼 테스트 계정 만들기 솔라나(Solana) 플랫폼에서 에어드롭 테스트를 수행하려면, 먼저 테스트 계정을 생성하고 테스트 토큰을 확보해야 합니다. 아래 단계별 가이드를 통해 진행해 보세요. 1. 솔라나 CLI 도구 설치솔라나 명령줄 인터페이스(CLI)를 설치하여 네트워크와 상호작용할 수 있습니다. 터미널에서 다음 명령어를 실행하여 설치하세요:mac or linuxsh -c "$(curl -sSfL https://release.solana.com/stable/install)"windowscmd /c "curl https://release.anza.xyz/v2.1.5/agave-install-init-x86_64-pc-windows-msvc.exe --output C:\agave-install-tmp\agave-install-in.. 2025. 1. 20. [팁] 맥에서 ._ 백업파일 삭제하고 추가로 생기지 않도록 하기 윈도우에서 작업한 파일을 외장하드로 옮기고 보니, 어느 순간 부터 ._로 시작하는 폴더와 파일이 보이기 시작하네요?._ 파일이 생기는 이유:._ 백업 파일은 Mac 운영 체제가 HFS+ 파일 시스템의 확장 속성, 리소스 포크 및 메타데이터를 비 HFS+ 파일 시스템(예: FAT32, NTFS)으로 복사할 때 생깁니다. HFS+ 파일 시스템에서는 파일의 리소스 포크나 메타데이터가 파일 자체에 포함되지만, 다른 파일 시스템에서는 이를 직접적으로 지원하지 않기 때문에 별도의 ._ 파일로 저장하여 이러한 정보를 보존하려는 것입니다.이 ._ 파일에는 원본 파일에 대한 아이콘, 권한, 기타 메타데이터 등의 정보가 포함되어 있습니다. 따라서 Mac에서 Windows 파일 시스템으로 파일을 전송할 때 이와 같은 파일이.. 2025. 1. 17. [AI Agent #준비] docker - n8n - ollama - postgresql + GPU 설정 스크립트 이전 글의 docker 스크립트를 가지고 n8n - ollama 연동이 어려워서, github 에서 찾은 스크립트로 정리를 다시 해봅니다.n8n의 Self-hosted AI Starter Kit은 로컬 환경에서 AI 워크플로우를 구축하기 위한 오픈 소스 도커 컴포즈 템플릿입니다. 이 키트는 n8n 플랫폼과 함께 Ollama, Qdrant, PostgreSQL을 포함하고 있어, 손쉽게 AI 프로젝트를 시작할 수 있습니다. 구성 요소:• n8n: 400개 이상의 통합과 고급 AI 컴포넌트를 제공하는 로우코드 플랫폼• Ollama: 최신 로컬 LLM을 설치하고 실행할 수 있는 크로스 플랫폼 LLM 플랫폼• Qdrant: 고성능 벡터 스토어로, 포괄적인 API를 제공• PostgreSQL: 대용량 데이터를 .. 2025. 1. 15. [비교] 테슬라 모델3, 아반떼, 그랜저 크기 등 비교 테슬라 모델 3, 현대 아반떼, 그랜저의 주요 제원을 비교해보겠습니다.1. 크기 및 실내 공간항목테슬라 모델 3현대 아반떼현대 그랜저전장 (mm)4,6944,6505,035전폭 (mm)1,8491,8251,880전고 (mm)1,4431,4201,460휠베이스 (mm)2,8752,7202,895테슬라 모델 3: 외관 크기는 아반떼와 유사하지만, 실내 공간은 그랜저와 비슷한 수준으로 평가됩니다.(출처)2. 성능 및 주행 특성항목테슬라 모델 3 (롱 레인지)현대 아반떼 (1.6 가솔린)현대 그랜저 (2.5 가솔린)최고 출력 (마력)약 346123198최대 토크 (kg·m)약 5315.725.30-100 km/h 가속약 4.4초약 10초약 8초테슬라 모델 3: 전기 모터의 즉각적인 가속 성능으로 우수한 주행 성.. 2025. 1. 15. [AI Agent #준비] Docker 설치 및 GPU 사용 설정 아래는 n8n, Ollama, 그리고 PostgreSQL을 설치하는 docker-compose.yml 파일과 GPU를 지원하는 구성을 추가한 예제입니다. Ollama에서 llama와 mistral 모델을 사용할 수 있도록 설정도 포함했습니다. 1. docker-compose.yml 생성version: '3.9'services: n8n: image: n8nio/n8n:latest container_name: n8n ports: - "5678:5678" environment: - N8N_BASIC_AUTH_ACTIVE=true - N8N_BASIC_AUTH_USER=admin - N8N_BASIC_AUTH_PASSWORD=admin - DB.. 2025. 1. 14. [AI Agent #시작] 멀티 AI 에이전트 제작 준비 - 플랫폼 선택 시스템 환경OS: windows 11CPU: i7 13th 2.10MHzRAM: 128GBGPU: 4070 TI 윈도우 11 환경에서 GPU를 활용해 LLM 서비스를 개발하려면 Docker와 WSL2 둘 다 유용할 수 있지만, 목적과 요구사항에 따라 선택이 달라질 수 있습니다. 아래는 각 옵션의 장단점과 추천 사항입니다. 1. Docker에서 GPU 사용 • 장점:• NVIDIA의 Docker용 GPU 지원 툴킷인 NVIDIA Container Toolkit을 통해 GPU 가속을 쉽게 활용할 수 있음.• Docker Compose를 사용하여 여러 서비스(n8n, Ollama 등)를 하나의 환경에서 관리 가능.• 환경 격리가 확실해 개발 및 배포 시 설정이 일관됨.• n8n, Ollama 모두 Docker.. 2025. 1. 14. [비교] 맥미니 m4 pro, 맥북프로 m4 max, 인텔 i7 13th 4070 ti LLM 머신 사양 비교 최근 m4 pro/ max 칩에 대한 칭찬일색 유튜브, 블로그 글 때문에 고민이 됩니다. 구매 하고자 둘러대는 것은 LLM 학습 입니다.대규모 언어 모델(LLM)의 학습을 위해 세 가지 시스템을 비교해 보았습니다:비교 시스템 사양:사양맥 미니 M4 Pro맥북 프로 16 M4 Max인텔 i7 13세대 시스템CPU14코어16코어인텔 i7 13세대 2.10GHzGPU20코어40코어NVIDIA RTX 4070 Ti뉴럴 엔진16코어16코어해당 없음메모리64GB 통합 메모리128GB 통합 메모리128GB RAM가격377만 원770만 원구성에 따라 다름 LLM 학습을 위한 주요 고려 사항:• GPU 성능 및 메모리(VRAM): LLM 학습은 대량의 병렬 연산을 필요로 하므로, GPU의 연산 능력과 VRAM 크기가 중.. 2025. 1. 14. [설정] nginx + n8n 설정 on rocky linux Rocky Linux에서 Nginx와 n8n을 연동하여 워크플로우 자동화 서버를 구축하는 방법을 단계별로 정리해 드리겠습니다. 1. 필수 패키지 설치Rocky Linux에서 n8n 및 Nginx 설치를 위해 필요한 기본 패키지를 설치합니다.sudo dnf update -ysudo dnf install -y epel-releasesudo dnf install -y nginx nodejs npm 2. n8n 설치n8n은 Node.js 기반이므로 npm을 이용해 설치합니다.# 글로벌 설치sudo npm install -g n8n# 시스템 유저 생성 (보안 강화를 위해)sudo useradd -r -m -d /var/lib/n8n -s /sbin/nologin n8n# 권한 설정sudo chown -R n8n:.. 2025. 1. 14. [비교] LLM 학습용 머신 - 맥미니 m4 pro 와 i7 4070 ti 비교 가히 AI 전쟁시대입니다. 일찌감치 AI 분야에서 소비자가 되어 이것 저것 만져 보고 있습니다. 그러면서도 내가 학습시킨 고유한 나만의 자비스를 꿈꾸기도 합니다. 이번에 등장한 맥미니 m4 가 칭찬일색이라 이 장비로 AI 학습을 하면 어떨까 하면서 비교를 해봤습니다.LLM 학습 관점에서 두 시스템을 비교해 드리겠습니다.Mac Mini M4 Pro 사양 (알아보는 장비)- CPU: 14코어 ARM 아키텍처- GPU: 20코어 통합 GPU- 메모리: 64GB 통합 메모리장점:* Apple Silicon의 뛰어난 전력효율성* Neural Engine을 통한 ML 가속* 안정적인 macOS 개발환경단점:* CUDA 미지원으로 인한 프레임워크 제한* 64GB 메모리 한계* 외장 GPU 확장 불가Intel Wind.. 2025. 1. 13. [쇼핑] 칼디짓(CalDigit) TS4 - 다시 생각해도 과한 가격 오늘은 CalDigit의 프리미엄 도킹스테이션인 TS4를 소개해드리려고 합니다. 노트북의 부족한 포트 확장이 필요하신 분들께 큰 도움이 될 것 같아요.CalDigit TS4 주요 특징1. 강력한 포트 확장성- Thunderbolt 4 포트 3개 (40Gb/s)- USB-C 포트 3개 (10Gb/s)- USB-A 포트 5개 (10Gb/s)- SD/microSD UHS-II 카드리더- DisplayPort 1.4- 2.5 기가비트 이더넷- 오디오 포트 3개 (전면 콤보 1개, 후면 입/출력)2. 충전 및 전력 공급- 호스트 노트북 충전 최대 98W 지원- 전면 USB-C 포트: 20W- 기타 USB 포트: 7.5W~15W- 오프라인 충전 지원 (배터리 아이콘 표시된 포트)3. 디스플레이 지원- 단일 모니터:.. 2025. 1. 13. [쇼핑] 브라운9과 필립스9000 시리즈 비교 정리 브라운 시리즈 9과 필립스 9000 시리즈 전기면도기는 각각 독특한 기술과 디자인을 통해 사용자들에게 다양한 선택지를 제공합니다. 아래는 두 제품의 주요 장단점을 비교한 내용입니다.브라운 시리즈 9장점: 1. 강력한 절삭력: • 초당 40,000번의 싱크로소닉(SyncroSonic) 기술로 밀도 높은 수염도 빠르고 균일하게 제거 가능. 2. 긴 수염 절삭에 탁월: • 며칠 동안 면도하지 않은 긴 수염도 손쉽게 처리. 3. 유연한 프로 헤드: • 굴곡진 부위에서도 효과적으로 접근 가능. 4. 빠른 세척 및 건조: • 5 in 1 Clean & Charge Station을 통해 세척, 살균, 윤활, 건조, 충전까지 빠르게 처리. 단점: 1. 소음 문제: • 작동 시 소음이 크다는 사용자 피드백이 존재. 2... 2025. 1. 12. 이전 1 2 3 4 ··· 21 다음 반응형
