센스쟁이 프로그래머, 비트센스

Hugging Face 허브에는 다양한 자연어 처리(NLP) 모델들이 공개되어 있으며, 용도에 따라 특화된 모델들이 존재합니다. 여기서는 사용 목적별로 대표적인 모델들을 분류하고, 각 분야에서 최고 성능을 보이는 모델들의 특징을 비교한 뒤, RTX 4070 Ti 환경에서 실행 가능성과 파인튜닝 용이성을 고려하여 추천 모델을 선정하였습니다. 마지막으로 분야별 추천 모델과 해당 모델의 강점이 발휘되는 사용 사례를 정리합니다. 1. 일반 자연어 처리 (언어 이해 및 생성) 언어 이해를 위한 대표 모델로는 BERT 계열(예: BERT, RoBERTa, DeBERTa)과 같은 Transformer 인코더 모델들이 있습니다. 이들은 문장의 의미 파악, 분류, 개체 인식 등의 이해 중심 작업에 뛰어납니다. 특히 마이..

Programming/AI&ML 2025. 2. 18. 13:08

GitHub Copilot은 AI 기반 코드 작성 도우미로, 지난 몇 달 동안 여러 가지 중요한 업데이트와 무료 플랜 관련 소식들이 발표되었습니다. 아래에서 최근 업데이트와 무료 버전 관련 주요 동향을 정리해 보겠습니다.무료 플랜 출시 및 기본 사항무료 플랜 발표 (2024년 12월 18일)GitHub는 Visual Studio Code와 GitHub.com에서 Copilot을 무료로 사용할 수 있는 ‘GitHub Copilot Free’를 공식 발표했습니다.이용 조건: GitHub 계정만 있으면 별도의 평가판, 구독, 신용카드 정보 없이 즉시 사용할 수 있습니다.제공 한도: 월 최대 2,000회의 코드 자동 완성과 50회의 채팅 메시지가 제공되어, 일상적인 코딩 작업에는 충분한 양을 지원합니다.대상: ..

Programming/개발툴 SW 2025. 2. 10. 14:31

로컬 PC나 맥등에 LLM 모델을 쉽게 설치하고 ChatGPT 같은 Chat UI를 제공하는 설치형 프로그램을 정리해보겠습니다.1. LLM 모델 관리 및 Chat UI 제공 앱이 카테고리의 프로그램은 쉽게 LLM 모델을 다운로드하고 실행할 수 있도록 도와주며, 대부분 로컬에서 ChatGPT 스타일의 UI를 제공합니다.프로그램명주요 기능지원 모델실행 방식LM StudioGUI 기반 모델 다운로드 및 실행, 로컬 챗봇 UI 제공LLaMA, Mistral, Gemma 등Windows, macOS, LinuxLLaMA.cpp GUI (Llamafile)초경량 LLaMA 모델 실행, GUI 지원LLaMA, MistralWindows, macOS, LinuxlstyWeb UI 제공, 서버 모드 지원LLaMA, Mi..

Programming/AI&ML 2025. 2. 6. 13:17

DeepSeek의 행보에 세상은 충격을 받고 있습니다. 그리고 빠르게 DeepSeek를 지원하는 곳이 늘어나고 있습니다. CursorAI도 마찬가지입니다. 최근 공식적으로 DeepSeek r1, v3 모델을 지원하기 시작했습니다. 정식 지원 버전은 0.45인걸로 보이는데, 저는 0.44 인데도 지원모델이 노출됩니다.DeepSeek의 V3와 R1 모델은 각기 다른 목적과 최적화 방식을 지닌 AI 언어 모델입니다.DeepSeek V3: • 아키텍처: 혼합 전문가(Mixture-of-Experts, MoE) 구조를 채택하여 확장성과 효율성을 높였습니다. • 주요 특징: 대규모 언어 모델로서 다양한 자연어 처리 작업에 최적화되어 있습니다. • 적합한 사용 사례: 다국어 번역, 콘텐츠 생성 등 일반적인 언어 이해..

Programming/개발툴 SW 2025. 2. 4. 09:47

deepseek에서 r1이 나오고 llama, qwen이 있고, 1.4B, 7B... 70B 까지 먼가 너무 많습니다. 이걸 모두 한번 정리해 봅니다.모델 구조 개요DeepSeek-R1은 크게 세 가지 아키텍처 기반으로 구성되어 있습니다:DeepSeek-LLM (기본 아키텍처)Qwen 기반 버전LLaMA 기반 버전모델 크기별 특징1.4B 모델가장 작은 크기의 모델기본적인 대화와 간단한 태스크 수행리소스 요구사항이 매우 낮음추론 속도가 매우 빠름7B 모델일반적인 대화와 기본적인 코딩 태스크 가능적절한 성능과 리소스 효율성의 균형대부분의 일상적인 용도에 적합14B 모델복잡한 추론과 전문적인 태스크 수행 가능코드 생성 능력이 현저히 향상다양한 도메인의 지식 보유32B 모델고급 추론과 복잡한 문제 해결 능력전문..

Programming/AI&ML 2025. 2. 3. 22:00

Windows 11 Pro 환경에서 LM Studio를 활용하여 DeepSeek-R1 모델을 설치하고 실행하는 방법을 안내해 드리겠습니다. 또한, Qwen과 Llama 모델 중 어떤 것을 선택할지에 대한 가이드와 Ollama와 LM Studio의 차이점 및 각 장단점을 비교해 드리겠습니다.시스템 사양운영 체제: Windows 11 ProCPU: Intel i7 13세대 2.10GHzRAM: 128GBGPU: NVIDIA RTX 4070 Ti (22GB VRAM)목차LM Studio 설치 링크DeepSeek-R1 모델 선택 - Qwen? Llama?설치 방법테스트 방법웹 연결 방법Ollama와 LM Studio 차이점 및 각 장단점LM Studio 설치 링크LM Studio는 로컬 환경에서 대규모 언어 모..

Programming/AI&ML 2025. 2. 2. 23:29

기본 설치 모델 선정:시스템 : Windows11 Pro, CPU: i7 13th Gen. 2.10Ghz, 128GB RAM, RTX 4070 ti (22GB VRAM)실행 윈도우 UI 앱 : LM Studio설치 모델 : unsloth/DeepSeek-R1-Distill-Llama-8B-GGUFDeepSeek-R1-Distill-Llama-8B-GGUF 모델을 로컬에서 실행하기 위해서는, 시스템 사양과 요구 사항에 맞는 적절한 파일을 선택하는 것이 중요합니다. 해당 모델의 Hugging Face 페이지에서는 다양한 양자화 수준의 GGUF 파일을 제공합니다.권장 파일 선택:귀하의 시스템 사양(GeForce RTX 4070 Ti, 128GB RAM, 500GB SSD)을 고려할 때, 다음과 같은 파일을 선..

Programming/AI&ML 2025. 2. 1. 00:13

deepseek 를 설치하려고 해도 모델과 사양이 다양해서 설치부터 어려움이 많습니다.현재 보유 중인 시스템 사양(GeForce RTX 4070 Ti, 128GB RAM, 500GB SSD)을 고려할 때, 다음과 같은 모델 선택을 권장하고 있습니다.모델 크기:7B 모델: 이러한 모델은 상대적으로 가벼워, 현재 시스템에서 원활하게 실행될 수 있습니다. 예를 들어, LLaMA 7B 모델은 약 13GB의 GPU 메모리를 필요로 하며, 이는 RTX 4070 Ti의 12GB VRAM으로도 충분히 처리 가능합니다.14B 모델: 이 모델들은 더 많은 자원을 요구하며, 특히 VRAM이 12GB인 경우 실행에 어려움이 있을 수 있습니다. 일부 최적화 기법을 적용하면 실행이 가능할 수 있으나, 성능 저하나 기타 제약이 발..

Programming/AI&ML 2025. 1. 31. 23:59