본문 바로가기
Programming/AI&ML

[deepseek #설치] lm studio 에 설치하기

by BitSense 2025. 2. 2.

Windows 11 Pro 환경에서 LM Studio를 활용하여 DeepSeek-R1 모델을 설치하고 실행하는 방법을 안내해 드리겠습니다. 또한, Qwen과 Llama 모델 중 어떤 것을 선택할지에 대한 가이드와 Ollama와 LM Studio의 차이점 및 각 장단점을 비교해 드리겠습니다.

시스템 사양

  • 운영 체제: Windows 11 Pro
  • CPU: Intel i7 13세대 2.10GHz
  • RAM: 128GB
  • GPU: NVIDIA RTX 4070 Ti (22GB VRAM)

목차

  1. LM Studio 설치 링크
  2. DeepSeek-R1 모델 선택 - Qwen? Llama?
  3. 설치 방법
  4. 테스트 방법
  5. 웹 연결 방법
  6. Ollama와 LM Studio 차이점 및 각 장단점

LM Studio 설치 링크

LM Studio는 로컬 환경에서 대규모 언어 모델(LLM)을 쉽게 실행할 수 있도록 도와주는 애플리케이션입니다. 공식 웹사이트에서 Windows 버전을 다운로드할 수 있습니다:

DeepSeek-R1 모델 선택 - Qwen? Llama?

DeepSeek-R1 모델은 GGUF 형식을 지원하며, LM Studio에서 실행할 수 있습니다. Qwen과 Llama는 모두 우수한 성능을 보이는 모델 시리즈로, 각 모델의 특징은 다음과 같습니다:

Qwen 모델 시리즈

  • Qwen-7B: 7억 개의 파라미터를 보유하여 중간 규모의 작업에 적합합니다.
  • Qwen-14B: 14억 개의 파라미터로 더 복잡한 작업에 활용될 수 있습니다.
  • Qwen-32B: 32억 개의 파라미터를 가지고 있으며, 고성능이 요구되는 작업에 적합합니다.
  • Qwen-72B: 72억 개의 파라미터를 가지고 있으며, 최대 32K의 컨텍스트 길이를 지원합니다.

Llama 모델 시리즈

  • Llama 2 7B: 7억 개의 파라미터를 가진 모델로 중간 규모의 작업에 적합합니다.
  • Llama 2 13B: 13억 개의 파라미터로 더 복잡한 작업에 활용될 수 있습니다.
  • Llama 2 70B: 70억 개의 파라미터를 가지고 있으며, 고성능이 요구되는 작업에 적합합니다.

추천 모델: 시스템 사양과 VRAM 용량을 고려하여 Qwen-14B 또는 Llama 2 13B 모델을 선택하시는 것이 적절합니다. 이러한 모델들은 균형 잡힌 성능과 자원 활용도를 제공하여 다양한 작업에 효과적으로 활용될 수 있습니다.

설치 방법

  1. LM Studio 설치:
  2. DeepSeek-R1 모델 다운로드:
    • LM Studio를 실행한 후, 상단의 검색 창에 DeepSeek-R1을 입력하여 모델을 검색합니다.
    • 검색 결과에서 원하는 모델을 선택하고 다운로드합니다.
  3. 모델 실행:
    • 다운로드가 완료되면, LM Studio의 "Models" 탭에서 해당 모델을 선택합니다.
    • "Launch" 버튼을 클릭하여 모델을 실행합니다.

테스트 방법

  1. AI Chat 기능 사용:
    • LM Studio의 왼쪽 메뉴에서 채팅 아이콘을 클릭합니다.
    • 모델이 정상적으로 로드되었는지 확인한 후, 채팅 창에 질문을 입력하여 모델의 응답을 확인합니다.
  2. 로컬 서버 설정:
    • LM Studio의 왼쪽 메뉴에서 서버 아이콘을 클릭합니다.
    • "Start Server" 버튼을 클릭하여 로컬 서버를 시작합니다.
    • 서버가 정상적으로 시작되면, 다른 애플리케이션에서 API를 통해 모델을 호출할 수 있습니다.

웹 연결 방법

LM Studio는 로컬 서버 기능을 제공하여, 다른 애플리케이션이나 웹 인터페이스와의 연동이 가능합니다.

  1. 로컬 서버 시작:
    • LM Studio에서 로컬 서버를 시작합니다.
  2. API 엔드포인트 확인:
    • 서버 시작 후 제공되는 API 엔드포인트를 확인합니다.
  3. 웹 애플리케이션과 연동:
    • 해당 API 엔드포인트를 사용하여 웹 애플리케이션에서 모델을 호출하고, 필요한 기능을 구현할 수 있습니다.

Ollama와 LM Studio의 차이점 및 각 장단점

Ollama와 LM Studio는 모두 로컬 환경에서 대규모 언어 모델(LLM)을 실행할 수 있도록 설계된 도구이지만, 그 기능과 사용자 경험에서 차이점을 보입니다.

Ollama

  • 사용자 경험: 명령줄 인터페이스(CLI)를 기반으로 하여 개발자나 기술에 익숙한 사용자에게 적합합니다.
  • 커스터마이징: Modelfile을 통해 모델 구성을 세밀하게 조정할 수 있어, 사용자 요구에 맞게 최적화가 가능합니다.
  • 오픈 소스: 완전한 오픈 소스 프로젝트로, 투명성과 커뮤니티 참여를 강조합니다.
  • 운영 체제 지원: macOS, Linux, Windows(프리뷰)에서 사용 가능하며, AVX를 지원하는 프로세서가 필요합니다.
  • 장점:
    • 설치 및 설정이 비교적 간단하여 빠르게 시작할 수 있습니다.
    • 오픈 소스이므로 커뮤니티의 기여와 피드백을 적극적으로 수용합니다.
    • Modelfile을 통한 세밀한 설정이 가능하여 고급 사용자에게 유용합니다.
  • 단점:
    • 명령줄 기반이므로 GUI를 선호하는 사용자에게는 접근성이 떨어질 수 있습니다.
    • 제공되는 모델의 선택이 제한적일 수 있습니다.

LM Studio

  • 기능 세트: 모델 검색, 다운로드, 실행, 채팅 인터페이스 등 다양한 기능을 제공하며, OpenAI 호환 로컬 서버와의 호환성을 갖추고 있습니다.
  • 사용자 인터페이스: 그래픽 사용자 인터페이스(GUI)를 제공하여, 기술에 익숙하지 않은 사용자도 쉽게 접근할 수 있습니다.
  • 모델 지원: Hugging Face의 다양한 GGUF 형식 모델을 지원하여, 폭넓은 모델 선택이 가능합니다.
  • 운영 체제 지원: M1/M2/M3 Mac, Windows PC(AVX2 지원 프로세서 필요), Linux(베타)에서 사용 가능합니다.
  • 장점:
    • 사용자 친화적인 GUI를 통해 모델 관리와 실행이 용이합니다.
    • Hugging Face와의 통합으로 다양한 모델을 쉽게 다운로드하고 테스트할 수 있습니다.
    • OpenAI 호환 API를 제공하여 기존 애플리케이션과의 통합이 수월합니다.
  • 단점:
    • 현재 버전은 비오픈 소스로 제공되어, 소스 코드 접근 및 수정이 제한적입니다.
    • 일부 고급 기능이나 설정에 대한 접근성이 제한될 수 있습니다.

선택 가이드

  • Ollama를 선택해야 하는 경우:
    • 명령줄 인터페이스에 익숙하고, 모델 설정을 세밀하게 조정하고자 하는 개발자나 기술 사용자.
    • 오픈 소스 프로젝트에 참여하거나, 투명성을 중시하는 경우.
  • LM Studio를 선택해야 하는 경우:
    • 그래픽 인터페이스를 통해 쉽게 LLM을 사용하고자 하는 일반 사용자.
    • Hugging Face의 다양한 모델을 손쉽게 다운로드하고 테스트하고자 하는 경우.
    • OpenAI API 호환성을 활용하여 기존 애플리케이션과 통합하고자 하는 경우.

각 도구는 고유한 장단점을 가지고 있으므로, 사용자의 기술 수준, 필요 기능, 작업 환경에 따라 적합한 도구를 선택하시기 바랍니다.

반응형
저작자표시 비영리 변경금지

관련글

티스토리툴바