센스쟁이 프로그래머, 비트센스

Windows 11 Pro 환경에서 LM Studio를 활용하여 DeepSeek-R1 모델을 설치하고 실행하는 방법을 안내해 드리겠습니다. 또한, Qwen과 Llama 모델 중 어떤 것을 선택할지에 대한 가이드와 Ollama와 LM Studio의 차이점 및 각 장단점을 비교해 드리겠습니다.시스템 사양운영 체제: Windows 11 ProCPU: Intel i7 13세대 2.10GHzRAM: 128GBGPU: NVIDIA RTX 4070 Ti (22GB VRAM)목차LM Studio 설치 링크DeepSeek-R1 모델 선택 - Qwen? Llama?설치 방법테스트 방법웹 연결 방법Ollama와 LM Studio 차이점 및 각 장단점LM Studio 설치 링크LM Studio는 로컬 환경에서 대규모 언어 모..

Programming/AI&ML 2025. 2. 2. 23:29

deepseek 를 설치하려고 해도 모델과 사양이 다양해서 설치부터 어려움이 많습니다.현재 보유 중인 시스템 사양(GeForce RTX 4070 Ti, 128GB RAM, 500GB SSD)을 고려할 때, 다음과 같은 모델 선택을 권장하고 있습니다.모델 크기:7B 모델: 이러한 모델은 상대적으로 가벼워, 현재 시스템에서 원활하게 실행될 수 있습니다. 예를 들어, LLaMA 7B 모델은 약 13GB의 GPU 메모리를 필요로 하며, 이는 RTX 4070 Ti의 12GB VRAM으로도 충분히 처리 가능합니다.14B 모델: 이 모델들은 더 많은 자원을 요구하며, 특히 VRAM이 12GB인 경우 실행에 어려움이 있을 수 있습니다. 일부 최적화 기법을 적용하면 실행이 가능할 수 있으나, 성능 저하나 기타 제약이 발..

Programming/AI&ML 2025. 1. 31. 23:59

이전 글의 docker 스크립트를 가지고 n8n - ollama 연동이 어려워서, github 에서 찾은 스크립트로 정리를 다시 해봅니다.n8n의 Self-hosted AI Starter Kit은 로컬 환경에서 AI 워크플로우를 구축하기 위한 오픈 소스 도커 컴포즈 템플릿입니다.  이 키트는 n8n 플랫폼과 함께 Ollama, Qdrant, PostgreSQL을 포함하고 있어, 손쉽게 AI 프로젝트를 시작할 수 있습니다. 구성 요소:• n8n: 400개 이상의 통합과 고급 AI 컴포넌트를 제공하는 로우코드 플랫폼• Ollama: 최신 로컬 LLM을 설치하고 실행할 수 있는 크로스 플랫폼 LLM 플랫폼• Qdrant: 고성능 벡터 스토어로, 포괄적인 API를 제공• PostgreSQL: 대용량 데이터를 ..

Programming/AI&ML 2025. 1. 15. 14:02

아래는 n8n, Ollama, 그리고 PostgreSQL을 설치하는 docker-compose.yml 파일과 GPU를 지원하는 구성을 추가한 예제입니다. Ollama에서 llama와 mistral 모델을 사용할 수 있도록 설정도 포함했습니다. 1. docker-compose.yml 생성version: '3.9'services: n8n: image: n8nio/n8n:latest container_name: n8n ports: - "5678:5678" environment: - N8N_BASIC_AUTH_ACTIVE=true - N8N_BASIC_AUTH_USER=admin - N8N_BASIC_AUTH_PASSWORD=admin - DB..

Programming/AI&ML 2025. 1. 14. 15:38

시스템 환경OS: windows 11CPU: i7 13th 2.10MHzRAM: 128GBGPU: 4070 TI 윈도우 11 환경에서 GPU를 활용해 LLM 서비스를 개발하려면 Docker와 WSL2 둘 다 유용할 수 있지만, 목적과 요구사항에 따라 선택이 달라질 수 있습니다. 아래는 각 옵션의 장단점과 추천 사항입니다. 1. Docker에서 GPU 사용 • 장점:• NVIDIA의 Docker용 GPU 지원 툴킷인 NVIDIA Container Toolkit을 통해 GPU 가속을 쉽게 활용할 수 있음.• Docker Compose를 사용하여 여러 서비스(n8n, Ollama 등)를 하나의 환경에서 관리 가능.• 환경 격리가 확실해 개발 및 배포 시 설정이 일관됨.• n8n, Ollama 모두 Docker..

Programming/AI&ML 2025. 1. 14. 15:30