Deepseek 딥시크를 내 PC 에 설치해서 사용하는 방법 > 공지사항

• 목록
• 답변
• 글쓰기
• 게시판 리스트 옵션
  • 수정
  • 삭제

​​최근 딥시크 PC 엔비디아의 주가가 급락하였다. 이유를 보아하니, 중국에서 엄청나게 괜찮은 성능의 LLM 모델이 나왔는데, OpenAI o1의 성능과 맞먹으면서도 OpenAI 학습 비용의 단 5%만 투자했다고 한다. 심지어 이 LLM이 오픈소스로 공개되어있으니 누구나 로컬 PC에서 구동 환경을 구성할 수 있다는 이점이 있다.​이번 글에서는 간단하게 Ollama와 DeepSeek R1 모델을 활용하여 로컬 PC 환경에서 AI를 사용할 수 있도록 설치하는 과정을 다뤄보도록 한다.​​1. Ollama 설치Get up and running with large language 딥시크 PC models.Ollama는 로컬 PC에서 대규모 언어 모델(LLM)을 실행할 수 있도록 해 주는 도구이다.사이트에 들어가서 Download 버튼을 누르고 위 화면에서 OS에 맞는 버전으로 설치해준다.​​2. LLM 모델 선택Get up and running with large language models.위 링크 또는 아까 Ollama를 설치한 사이트 좌측 상단 Models를 클릭하면 다양한 LLM 모델들을 확인할 수 있다.우리는 deepseek-r1을 사용해보도록 한다.​deepseek-r1에도 여러 버전이 있다. 본인의 PC에서 사용중인 GPU의 VRAM보다 큰 모델은 돌리기 어려우니 적절한 딥시크 PC 버전을 선택하면 된다.​필자는 현재 사용 중인 노트북에 RTX 4050 laptop이 장착되어 있다. VRAM이 6GB이므로 8b 버전을 선택할 것이다.​버전 선택 후 우측에 있는 명령어를 복사하도록 한다.​​3. LLM 실행​아까 Ollama를 설치했다면 자동으로 실행되어 있을 것이다. CMD창을 열어 ollama라고 입력하면 위와 같이 명령어 사용법이 나온다.이제 아까 복사했던 명령어를 입력하면 모델이 다운로드 및 설치된다. 인터넷이 느리면 조금 오래 걸릴 수 있다.​설치가 완료되면 위와 같이 메시지를 보낼 수 있는 딥시크 PC 프롬프트 창이 뜬다. /? 를 입력하면 사용할 수 있는 특정 명령을 알 수 있다.​간단한 질문을 몇 가지 해 보자.​간단한 질문에 대해서는 괜찮은 속도로 답변이 들어온다. 다만, 저 부분이 함께 출력되는 것은 좀 아쉽다. 생각하는 부분이 길이가 길어서 답변 속도가 늦어지는 것 같다. 가끔 중국어로 나오기도 한다(...)방금 답변받은 코드를 한국어로 줄마다 설명해달라고 부탁해보았다. think 부분에서 먼저 영어로 설명을 생각한 뒤 한국어로 번역해 주석으로 추가하겠다고 하는 딥시크 PC 생각 과정이 술술 나온다.​​4. LLM 종료CMD창에서 /bye를 입력하거나 끄더라도 Ollama에서 model은 계속 실행 중인 상태다. 실행하는동안은 VRAM을 계속 차지하고 있기 때문에 작업 관리자에서 Ollama를 직접 종료하거나 작업 표시줄에서 Ollama 아이콘을 우클릭해 Quit Ollama를 클릭해 직접 종료해주도록 한다.​​5. LLM 다시 실행하기​한 번 설치한 LLM은 남아있기 때문에 다시 실행한다 해도 다운로드 및 설치 과정 없이 바로 실행할 수 있다.설치된 LLM 목록은 ollama list 명령어를 통해 확인할 딥시크 PC 수 있다.​​6. 크롬 확장 프로그램으로 브라우저 환경에서 LLM 사용하기​아주 고맙게도, Chrome Extension을 이용해 ChatGPT를 쓰는 것처럼 UI 환경에서 LLM을 사용할 수 있다.This extension hosts an ollama-ui web server on localhost위 확장프로그램을 설치하고, Ollama에서 deepseek 모델이 실행되어 있는 상태로 확장 프로그램을 실행해보자.​​Wow! 진짜 ChatGPT처럼 채팅 UI 상에서 질문을 할 수 있다. 하지만 여전히 부분이 생략되지 않는 것은 좀 아쉽다.​​다시 한 번 질문을 몇 개 날려보았다.이번엔 딥시크 PC 또 생각하는 과정이 안 담겨 있다.플러그인이 안정적이진 않은 것 같다...​​블록을 제거하는 방법이 있다면 따로 찾아봐야겠다.​​7. REST API를 이용한 LLM 활용​Ollama는 실행 중에 다른 애플리케이션과의 통합을 위해 REST API를 지원한다. 위와 같은 확장프로그램이 가능한 것도 이 때문일 것이다.​기본 포트는 11434로 동작한다.​​...몇 가지 테스트를 해 보긴 했는데 시간이 없어서 docs 링크만 남겨두었다. 위 postman 예제를 참고하여 REST API 호출을 통한 LLM 활용이 가능하다.​​​​여담8b 모델로 몇 가지 딥시크 PC 질문을 좀 해봤는데, 태그 구역에 생각하는 과정 자꾸 나와서 답변이 오래걸리는 것이 불편했고, 이마저도 영어, 중국어 왔다갔다 하면서 나오는 점도 아쉬웠다. 한국어 성능은 불안불안한 편이다. rtx4090가 있었다면 32b 버전도 테스트해볼 수 있었을텐데 아쉽다.​처음엔 1.5b 버전을 라즈베리파이로 돌려서 지금 하고 있는 프로젝트에 적용할 수 있지 않을까..?라는 생각도 해봤지만 8b 성능을 보아하니 그냥 openai api 쓰는게 낫겠다라는 판단을 내렸다.​​아무튼 꽤 무서운 녀석이 오픈소스로 풀렸다고 생각하면 될 딥시크 PC 것 같다.​​