센스쟁이 프로그래머, 비트센스

로컬 PC나 맥등에 LLM 모델을 쉽게 설치하고 ChatGPT 같은 Chat UI를 제공하는 설치형 프로그램을 정리해보겠습니다.1. LLM 모델 관리 및 Chat UI 제공 앱이 카테고리의 프로그램은 쉽게 LLM 모델을 다운로드하고 실행할 수 있도록 도와주며, 대부분 로컬에서 ChatGPT 스타일의 UI를 제공합니다.프로그램명주요 기능지원 모델실행 방식LM StudioGUI 기반 모델 다운로드 및 실행, 로컬 챗봇 UI 제공LLaMA, Mistral, Gemma 등Windows, macOS, LinuxLLaMA.cpp GUI (Llamafile)초경량 LLaMA 모델 실행, GUI 지원LLaMA, MistralWindows, macOS, LinuxlstyWeb UI 제공, 서버 모드 지원LLaMA, Mi..

예전 글들/AI&ML 2025. 2. 6. 13:17

deepseek에서 r1이 나오고 llama, qwen이 있고, 1.4B, 7B... 70B 까지 먼가 너무 많습니다. 이걸 모두 한번 정리해 봅니다.모델 구조 개요DeepSeek-R1은 크게 세 가지 아키텍처 기반으로 구성되어 있습니다:DeepSeek-LLM (기본 아키텍처)Qwen 기반 버전LLaMA 기반 버전모델 크기별 특징1.4B 모델가장 작은 크기의 모델기본적인 대화와 간단한 태스크 수행리소스 요구사항이 매우 낮음추론 속도가 매우 빠름7B 모델일반적인 대화와 기본적인 코딩 태스크 가능적절한 성능과 리소스 효율성의 균형대부분의 일상적인 용도에 적합14B 모델복잡한 추론과 전문적인 태스크 수행 가능코드 생성 능력이 현저히 향상다양한 도메인의 지식 보유32B 모델고급 추론과 복잡한 문제 해결 능력전문..

예전 글들/AI&ML 2025. 2. 3. 22:00

Windows 11 Pro 환경에서 LM Studio를 활용하여 DeepSeek-R1 모델을 설치하고 실행하는 방법을 안내해 드리겠습니다. 또한, Qwen과 Llama 모델 중 어떤 것을 선택할지에 대한 가이드와 Ollama와 LM Studio의 차이점 및 각 장단점을 비교해 드리겠습니다.시스템 사양운영 체제: Windows 11 ProCPU: Intel i7 13세대 2.10GHzRAM: 128GBGPU: NVIDIA RTX 4070 Ti (22GB VRAM)목차LM Studio 설치 링크DeepSeek-R1 모델 선택 - Qwen? Llama?설치 방법테스트 방법웹 연결 방법Ollama와 LM Studio 차이점 및 각 장단점LM Studio 설치 링크LM Studio는 로컬 환경에서 대규모 언어 모..

예전 글들/AI&ML 2025. 2. 2. 23:29

기본 설치 모델 선정:시스템 : Windows11 Pro, CPU: i7 13th Gen. 2.10Ghz, 128GB RAM, RTX 4070 ti (22GB VRAM)실행 윈도우 UI 앱 : LM Studio설치 모델 : unsloth/DeepSeek-R1-Distill-Llama-8B-GGUFDeepSeek-R1-Distill-Llama-8B-GGUF 모델을 로컬에서 실행하기 위해서는, 시스템 사양과 요구 사항에 맞는 적절한 파일을 선택하는 것이 중요합니다. 해당 모델의 Hugging Face 페이지에서는 다양한 양자화 수준의 GGUF 파일을 제공합니다.권장 파일 선택:귀하의 시스템 사양(GeForce RTX 4070 Ti, 128GB RAM, 500GB SSD)을 고려할 때, 다음과 같은 파일을 선..

예전 글들/AI&ML 2025. 2. 1. 00:13

deepseek 를 설치하려고 해도 모델과 사양이 다양해서 설치부터 어려움이 많습니다.현재 보유 중인 시스템 사양(GeForce RTX 4070 Ti, 128GB RAM, 500GB SSD)을 고려할 때, 다음과 같은 모델 선택을 권장하고 있습니다.모델 크기:7B 모델: 이러한 모델은 상대적으로 가벼워, 현재 시스템에서 원활하게 실행될 수 있습니다. 예를 들어, LLaMA 7B 모델은 약 13GB의 GPU 메모리를 필요로 하며, 이는 RTX 4070 Ti의 12GB VRAM으로도 충분히 처리 가능합니다.14B 모델: 이 모델들은 더 많은 자원을 요구하며, 특히 VRAM이 12GB인 경우 실행에 어려움이 있을 수 있습니다. 일부 최적화 기법을 적용하면 실행이 가능할 수 있으나, 성능 저하나 기타 제약이 발..

예전 글들/AI&ML 2025. 1. 31. 23:59

DeepSeek이 오픈소스로 공개되면서, 이제 로컬 환경에서 해당 모델을 실행할 수 있게 되었습니다. 이를 통해 인터넷 연결 없이도 AI 기능을 활용할 수 있으며, 데이터 보안과 프라이버시를 강화할 수 있습니다. 또한, 로컬에서 실행함으로써 지연 시간을 줄이고, 특정 요구 사항에 맞게 모델을 커스터마이징할 수 있습니다.DeepSeek-R1 모델은 6710억 개의 매개변수를 가지고 있었지만, 최적화를 통해 131GB로 줄어들어 로컬 실행이 가능해졌습니다. (svrforum.com) 이를 통해 고성능의 AI 언어 모델을 개인 컴퓨터나 서버에서 직접 활용할 수 있습니다.로컬에서 DeepSeek을 실행하기 위해서는 Ollama와 같은 프로그램을 사용할 수 있습니다. Ollama는 MacOS, Windows, L..

예전 글들/AI&ML 2025. 1. 31. 22:01

최근 인공지능 분야에서 OpenAI의 ChatGPT와 중국의 DeepSeek이 주목받고 있습니다. 두 모델의 성능과 특징을 비교하여 장단점을 정리해 드리겠습니다.성능 비교:기술 작업 능력: DeepSeek V3 모델은 코딩, 추론, 수학 능력이 필요한 기술 작업에서 ChatGPT-4o 모델보다 더 높은 성능을 보입니다. 예를 들어, HumanEval 벤치마크에서 DeepSeek V3는 82.6점을, GPT-4o는 80.5점을 기록하였으며, Codeforces 벤치마크에서도 DeepSeek V3가 51.6점으로 GPT-4o의 23.6점을 상회하였습니다. (textcortex.com)응답 품질: 일반적인 질문에 대한 응답 품질 면에서 ChatGPT는 포괄적이고 일관된 답변을 제공하는 반면, DeepSeek은..

예전 글들/AI&ML 2025. 1. 31. 11:43

DeepSeek와 같은 대형 언어 모델(LLM)을 실행하기 위해서는 고성능의 하드웨어가 필요합니다. Apple의 Mac Mini M4 Pro, MacBook Pro M4 Max, Mac Studio M2 Max 모델의 사양을 비교하여 각 모델이 DeepSeek를 실행하는 데 얼마나 적합한지 분석해보겠습니다.1. Mac Mini M4 ProCPU: 12코어 (성능 코어 8개, 효율 코어 4개)GPU: 16~20코어메모리: 최대 64GB 통합 메모리저장 장치: 512GB ~ 8TB SSD2. MacBook Pro M4 MaxCPU: 최대 16코어GPU: 최대 40코어메모리: 최대 128GB 통합 메모리저장 장치: 512GB ~ 8TB SSD3. Mac Studio M2 MaxCPU: 12코어 (성능 코어 8..

예전 글들/AI&ML 2025. 1. 30. 18:11