센스쟁이 프로그래머, 비트센스

DeepSeek이 오픈소스로 공개되면서, 이제 로컬 환경에서 해당 모델을 실행할 수 있게 되었습니다. 이를 통해 인터넷 연결 없이도 AI 기능을 활용할 수 있으며, 데이터 보안과 프라이버시를 강화할 수 있습니다. 또한, 로컬에서 실행함으로써 지연 시간을 줄이고, 특정 요구 사항에 맞게 모델을 커스터마이징할 수 있습니다.DeepSeek-R1 모델은 6710억 개의 매개변수를 가지고 있었지만, 최적화를 통해 131GB로 줄어들어 로컬 실행이 가능해졌습니다. (svrforum.com) 이를 통해 고성능의 AI 언어 모델을 개인 컴퓨터나 서버에서 직접 활용할 수 있습니다.로컬에서 DeepSeek을 실행하기 위해서는 Ollama와 같은 프로그램을 사용할 수 있습니다. Ollama는 MacOS, Windows, L..

Programming/AI&ML 2025. 1. 31. 22:01

최근 인공지능 분야에서 OpenAI의 ChatGPT와 중국의 DeepSeek이 주목받고 있습니다. 두 모델의 성능과 특징을 비교하여 장단점을 정리해 드리겠습니다.성능 비교:기술 작업 능력: DeepSeek V3 모델은 코딩, 추론, 수학 능력이 필요한 기술 작업에서 ChatGPT-4o 모델보다 더 높은 성능을 보입니다. 예를 들어, HumanEval 벤치마크에서 DeepSeek V3는 82.6점을, GPT-4o는 80.5점을 기록하였으며, Codeforces 벤치마크에서도 DeepSeek V3가 51.6점으로 GPT-4o의 23.6점을 상회하였습니다. (textcortex.com)응답 품질: 일반적인 질문에 대한 응답 품질 면에서 ChatGPT는 포괄적이고 일관된 답변을 제공하는 반면, DeepSeek은..

Programming/AI&ML 2025. 1. 31. 11:43

DeepSeek와 같은 대형 언어 모델(LLM)을 실행하기 위해서는 고성능의 하드웨어가 필요합니다. Apple의 Mac Mini M4 Pro, MacBook Pro M4 Max, Mac Studio M2 Max 모델의 사양을 비교하여 각 모델이 DeepSeek를 실행하는 데 얼마나 적합한지 분석해보겠습니다.1. Mac Mini M4 ProCPU: 12코어 (성능 코어 8개, 효율 코어 4개)GPU: 16~20코어메모리: 최대 64GB 통합 메모리저장 장치: 512GB ~ 8TB SSD2. MacBook Pro M4 MaxCPU: 최대 16코어GPU: 최대 40코어메모리: 최대 128GB 통합 메모리저장 장치: 512GB ~ 8TB SSD3. Mac Studio M2 MaxCPU: 12코어 (성능 코어 8..

Programming/AI&ML 2025. 1. 30. 18:11

다음은 TypeScript를 사용하여 크롬 확장 앱에서 프로파일 사용자 정보를 가져오는 방법을 보여주는 코드입니다. 필요한 파일과 코드를 정리했습니다. 1. manifest.json (권한 설정이 이미 완료되었다고 가정)manifest.json 파일은 따로 제공하지 않습니다. 확장 앱의 권한 설정에서 "identity"가 포함되어 있어야 합니다. 2. background.ts// background.tsfunction getUserProfile(): void { chrome.identity.getProfileUserInfo((userInfo) => { console.log('User ID:', userInfo.id); console.log('User Email:', userInfo.email..

Programming/Frontend 2025. 1. 27. 08:29

import osimport tracebackfrom datetime import datetimeclass Logger: """ 로그를 기록하는 유틸리티 클래스 사용방법: 1. 일반 로그 기록 Logger.log("로그 메시지") 예) Logger.log("사용자가 로그인했습니다") 2. 예외 발생 시 로그 기록 try: # 코드... except Exception as e: Logger.log("에러 메시지", error=e) 예) Logger.log("데이터 처리 중 오류 발생", error=e) 로그 파일 위치: ./logs/application_YYY..

Programming/Backend 2025. 1. 26. 21:53

맥 미니 M4 Pro에 외장 GPU(eGPU)를 연결하여 7B LLM 파인튜닝을 시도하는 것이 이론적으로 가능하지만, 다음과 같은 제한사항과 고려해야 할 요소가 있습니다.1. eGPU 지원 여부Apple Silicon 기반의 맥(M1, M2, M3, M4 시리즈)은 eGPU를 공식적으로 지원하지 않습니다.이는 Apple이 자체 GPU 성능에 의존하며, Thunderbolt 연결을 통한 외장 GPU 사용을 허용하지 않기 때문입니다.Intel 기반 맥은 eGPU를 지원했지만, Apple Silicon 맥은 지원을 중단한 상태입니다.Apple Silicon 기반 시스템에서는 eGPU 연결을 위한 드라이버가 없으므로 NVIDIA GPU를 연결하여 CUDA를 활용한 PyTorch/TensorFlow 작업이 불가능..

Programming/AI&ML 2025. 1. 25. 19:46

맥 미니 M4 Pro 최고 사양으로 7B LLM 파인튜닝이 가능한지 검토해 보겠습니다.M4 Pro 최고 사양 분석최신 Apple Silicon M4 Pro 칩의 주요 사양:CPU: 10~12코어 (고성능 코어 + 고효율 코어).GPU: 20~32코어 수준으로 예상.RAM: 최대 32GB 또는 64GB 통합 메모리(UMA).SSD: 초고속 NVMe SSD (최대 8TB).7B LLM 파인튜닝에 필요한 요구사항GPU 메모리:일반적으로 **16GB 이상의 GPU 전용 메모리(VRAM)**이 요구되며, 24GB 이상이면 효율적.RAM:GPU 메모리가 부족할 경우 CPU 메모리를 활용하게 되므로 64GB 이상이 권장됩니다.저장공간:모델과 데이터 저장용으로 최소 1TB SSD가 필요.ML 라이브러리 지원:PyTor..

Programming/AI&ML 2025. 1. 25. 19:42

맥북 프로 M4 Max 최고 사양으로 7B LLM 파인튜닝이 가능한지 검토해보면 다음과 같습니다:M4 Max 사양 분석최신 Apple Silicon M4 Max 칩은 다음과 같은 특징을 가질 가능성이 높습니다:CPU: 12~16코어 수준의 고효율/고성능 코어 구성.GPU: 40~64코어로 이전 세대 대비 성능이 크게 강화.RAM: 통합 메모리(최대 128GB 이상, LPDDR5).SSD: 초고속 NVMe SSD (최대 8TB).파인튜닝에 필요한 요구사항GPU 메모리: 7B 모델의 파인튜닝은 GPU의 VRAM이 중요합니다. 일반적으로 16~24GB 이상의 GPU 메모리가 요구됩니다.RAM: CPU 메모리를 사용하는 경우 64GB 이상이 필요하며, 128GB가 권장됩니다.저장공간: 모델 및 데이터 파일 저장..

Programming/AI&ML 2025. 1. 25. 19:39