Programming/AI&ML 썸네일형 리스트형 [5090 #PC구성] RTX 5090 시리즈로 7B LLM 파인튜닝 머신 구성하기 아래는 RTX 5090 시리즈 전체를 활용한 최고급, 고급, 최소사양 구성입니다. 각각의 구성은 예산, 성능, 작업 목표를 기준으로 설계되었으며, 7B LLM 파인튜닝 작업에 적합하게 설계되었습니다.1. 최고급 사양목적: 7B 이상의 대규모 LLM 모델을 최고 성능으로 처리. 연구, AI 모델 개발, 데이터 과학을 위한 최상의 옵션.예산: 약 1200~1500만 원.구성 요소제품명/스펙이유가격(대략)GPUNVIDIA RTX 5090 Ti (32GB GDDR7)최고 성능과 대규모 VRAM 제공약 500만 원CPUAMD Threadripper PRO 7995WX (96코어)고성능 병렬 연산과 멀티스레드 작업 지원약 600만 원RAM512GB DDR5 ECC Registered대규모 데이터 로딩과 안정적 연산.. 더보기 [AI Agent #준비] docker - n8n - ollama - postgresql + GPU 설정 스크립트 이전 글의 docker 스크립트를 가지고 n8n - ollama 연동이 어려워서, github 에서 찾은 스크립트로 정리를 다시 해봅니다.n8n의 Self-hosted AI Starter Kit은 로컬 환경에서 AI 워크플로우를 구축하기 위한 오픈 소스 도커 컴포즈 템플릿입니다. 이 키트는 n8n 플랫폼과 함께 Ollama, Qdrant, PostgreSQL을 포함하고 있어, 손쉽게 AI 프로젝트를 시작할 수 있습니다. 구성 요소:• n8n: 400개 이상의 통합과 고급 AI 컴포넌트를 제공하는 로우코드 플랫폼• Ollama: 최신 로컬 LLM을 설치하고 실행할 수 있는 크로스 플랫폼 LLM 플랫폼• Qdrant: 고성능 벡터 스토어로, 포괄적인 API를 제공• PostgreSQL: 대용량 데이터를 .. 더보기 [AI Agent #준비] Docker 설치 및 GPU 사용 설정 아래는 n8n, Ollama, 그리고 PostgreSQL을 설치하는 docker-compose.yml 파일과 GPU를 지원하는 구성을 추가한 예제입니다. Ollama에서 llama와 mistral 모델을 사용할 수 있도록 설정도 포함했습니다. 1. docker-compose.yml 생성version: '3.9'services: n8n: image: n8nio/n8n:latest container_name: n8n ports: - "5678:5678" environment: - N8N_BASIC_AUTH_ACTIVE=true - N8N_BASIC_AUTH_USER=admin - N8N_BASIC_AUTH_PASSWORD=admin - DB.. 더보기 [AI Agent #시작] 멀티 AI 에이전트 제작 준비 - 플랫폼 선택 시스템 환경OS: windows 11CPU: i7 13th 2.10MHzRAM: 128GBGPU: 4070 TI 윈도우 11 환경에서 GPU를 활용해 LLM 서비스를 개발하려면 Docker와 WSL2 둘 다 유용할 수 있지만, 목적과 요구사항에 따라 선택이 달라질 수 있습니다. 아래는 각 옵션의 장단점과 추천 사항입니다. 1. Docker에서 GPU 사용 • 장점:• NVIDIA의 Docker용 GPU 지원 툴킷인 NVIDIA Container Toolkit을 통해 GPU 가속을 쉽게 활용할 수 있음.• Docker Compose를 사용하여 여러 서비스(n8n, Ollama 등)를 하나의 환경에서 관리 가능.• 환경 격리가 확실해 개발 및 배포 시 설정이 일관됨.• n8n, Ollama 모두 Docker.. 더보기 이전 1 2 3 4 5 다음
