에피소드 2: 로컬 LLM 시작하기 – 어떤 도구부터 설치할까

Ollama, LM Studio, OpenWebUI, GPT4All, LocalAI, vLLM의 역할을 초보자 눈높이에서 비교하고, 내 컴퓨터 사양과 목적에 맞는 로컬 LLM 도구 선택법을 정리합니다.

에피소드 1에서는 로컬 AI가 왜 필요한지 이야기했습니다. 이제 손이 근질거릴 차례입니다.

"그래서 뭘 설치하면 되는데?"

로컬 LLM을 처음 시작할 때 가장 많이 막히는 지점이 바로 도구 선택입니다. 검색하면 Ollama, LM Studio, OpenWebUI, GPT4All, LocalAI, vLLM 같은 이름이 한꺼번에 튀어나옵니다. 다 좋아 보이는데, 서로 하는 일이 조금씩 다릅니다.

처음부터 정리해두면 덜 헷갈립니다.

• 모델을 실제로 실행하는 도구가 있습니다.
• 채팅 화면을 예쁘게 보여주는 도구가 있습니다.
• API 서버처럼 다른 프로그램과 연결하는 도구가 있습니다.
• 대량 처리나 서버 운영에 가까운 도구가 있습니다.

이 글의 목표는 하나입니다. 지금 내 상황에서 어떤 도구부터 설치하면 되는지 고르는 것입니다.

1. 먼저 결론

바쁘면 이 표만 보고 시작해도 됩니다.

제가 초보자에게 가장 먼저 권하는 조합은 두 가지입니다.

1. GUI로 시작: LM Studio
2. 자동화까지 생각: Ollama + OpenWebUI

이 둘만 알아도 에피소드 3 설치 편으로 넘어가는 데 충분합니다.

2. Ollama: 가장 단순한 모델 실행기

Ollama는 로컬 LLM을 시작할 때 가장 자주 추천되는 도구입니다. 이유는 단순합니다. 설치하고 모델을 내려받아 실행하는 흐름이 짧습니다.

Ollama의 역할은 "모델을 내 컴퓨터에서 실행하고, 다른 프로그램이 부를 수 있게 해주는 엔진"에 가깝습니다.

좋은 점:

• 명령어가 단순합니다.
• macOS, Windows, Linux에서 시작하기 좋습니다.
• 모델 다운로드와 실행 흐름이 깔끔합니다.
• API로 다른 프로그램과 연결하기 쉽습니다.
• OpenWebUI, n8n, Python 스크립트와 붙이기 좋습니다.

주의할 점:

• 명령어가 낯선 사람에게는 처음이 조금 딱딱합니다.
• 예쁜 채팅 화면은 다른 도구를 붙이는 편이 좋습니다.
• 모델이 느리면 도구 문제가 아니라 하드웨어 문제일 수 있습니다.

저는 자동화까지 염두에 둔다면 Ollama를 먼저 배워두는 쪽이 좋다고 봅니다. 나중에 n8n과 연결하거나, 내부 스크립트에서 로컬 AI를 호출할 때 구조가 단순해집니다.

3. LM Studio: 처음 만지는 사람에게 가장 편한 입구

LM Studio는 GUI가 강점입니다. 모델을 검색하고, 내려받고, 채팅하고, 로컬 서버를 켜는 일을 화면 안에서 처리할 수 있습니다.

초보자에게 좋은 이유는 실패 지점이 눈에 보인다는 것입니다. 모델이 내려받아졌는지, 지금 어떤 모델이 로드되어 있는지, 서버가 켜져 있는지 확인하기 쉽습니다.

좋은 점:

• ChatGPT처럼 대화하는 느낌으로 시작할 수 있습니다.
• 모델 검색과 다운로드가 편합니다.
• 로컬 API 서버를 켤 수 있습니다.
• OpenAI 호환 endpoint를 제공할 수 있어 다른 도구와 연결하기 좋습니다.
• Windows 사용자가 시작하기 쉽습니다.

주의할 점:

• GUI 앱이라 Ollama보다 무겁게 느껴질 수 있습니다.
• 자동화 서버로 장시간 돌릴 계획이면 설정을 따로 정리해야 합니다.
• 팀/서버 운영보다는 개인 작업용 입구에 더 가깝습니다.

처음 로컬 AI를 만지는 분에게 "오늘 당장 성공 경험을 만들자"가 목표라면 LM Studio가 좋습니다. 성공 경험이 생긴 뒤 Ollama나 OpenWebUI로 넓혀가도 늦지 않습니다.

4. OpenWebUI: 모델 실행기가 아니라 작업 화면

OpenWebUI는 초보자가 자주 헷갈리는 도구입니다. 이름만 보면 OpenWebUI가 모델을 직접 돌리는 것 같지만, 핵심 역할은 웹 인터페이스입니다.

보통은 이렇게 씁니다.

1. Ollama가 로컬 모델을 실행합니다.
2. OpenWebUI가 Ollama에 연결합니다.
3. 사용자는 브라우저에서 ChatGPT처럼 대화합니다.

OpenWebUI를 붙이면 좋은 점이 많습니다.

• 대화 내역을 관리하기 편합니다.
• 모델을 고르는 UI가 생깁니다.
• 여러 provider를 연결할 수 있습니다.
• 지식 문서, 도구, 사용자 관리 같은 확장 기능을 붙일 수 있습니다.
• 나중에 NAS나 사내 서버에 올리기 좋습니다.

단, 설치할 것이 하나 더 늘어납니다. 그래서 정말 처음이라면 LM Studio나 Ollama만 먼저 성공시키고, 그다음 OpenWebUI를 붙이는 순서를 추천합니다.

5. GPT4All: 가볍게 사적인 문서 채팅을 해보고 싶을 때

GPT4All은 "내 컴퓨터에서 사적으로 LLM을 돌린다"는 목적에 잘 맞는 데스크톱 중심 도구입니다. 특히 LocalDocs처럼 내 파일을 로컬에서 색인하고 질문하는 흐름이 초보자에게 이해하기 쉽습니다.

좋은 점:

• 데스크톱 앱으로 시작하기 쉽습니다.
• GPU가 없어도 일단 시도해볼 수 있습니다.
• 로컬 문서 기반 질의응답을 경험하기 좋습니다.
• 개인 노트북에서 프라이버시를 느끼며 실험하기 좋습니다.

주의할 점:

• 서버 자동화나 n8n 연결을 크게 생각한다면 Ollama/LM Studio 쪽이 더 자연스럽습니다.
• 고성능 GPU 서버 운영 도구는 아닙니다.

즉 GPT4All은 "내 문서와 대화해보고 싶다"는 개인 실험에 좋고, 이 시리즈의 최종 목표인 NAS + OpenWebUI + n8n 구조로 갈 때는 보조 선택지로 보면 됩니다.

6. LocalAI: 로컬 AI를 API 스택으로 묶고 싶을 때

LocalAI는 초보자 첫 설치보다 고급 사용자에게 어울립니다. OpenAI 호환 API를 로컬에서 제공하고, 다양한 로컬 AI 기능을 하나의 스택으로 묶으려는 성격이 강합니다.

좋은 점:

• OpenAI 호환 API 구조로 기존 프로그램과 연결하기 쉽습니다.
• 서버나 컨테이너 환경에 올리기 좋습니다.
• 텍스트 외의 여러 AI 기능을 묶어 운영하려는 사람에게 맞습니다.

주의할 점:

• 처음 접하는 사람에게는 설정이 복잡합니다.
• 모델, backend, container, API 설정을 함께 이해해야 합니다.
• "오늘 첫 모델과 대화하기"에는 과할 수 있습니다.

LocalAI는 나중에 여러 기능을 한 서버에 묶을 때 다시 볼 도구입니다. 지금은 이름만 알아두면 됩니다.

7. vLLM: 처리량이 중요한 서버용 선택지

vLLM은 로컬 AI 초보자용 채팅 앱이라기보다 모델 서빙 도구입니다. GPU 서버에서 여러 요청을 빠르게 처리하거나, OpenAI 호환 HTTP 서버를 운영하고 싶을 때 등장합니다.

좋은 점:

• API 서버 구조가 명확합니다.
• 처리량과 서버 운영을 염두에 둔 도구입니다.
• OpenAI 호환 interface로 기존 코드와 연결하기 좋습니다.

주의할 점:

• 설치와 운영 난이도가 높습니다.
• GPU, Python 환경, 모델 서빙 개념을 알아야 합니다.
• 개인 PC에서 첫 로컬 AI를 시작하는 용도로는 부담스럽습니다.

이 시리즈의 초반에서는 vLLM을 설치하지 않습니다. 다만 나중에 "사내 서버에서 여러 사람이 동시에 쓰게 하자"는 단계로 가면 후보가 됩니다.

8. 하드웨어별 선택 기준

도구보다 먼저 봐야 하는 것이 하드웨어입니다. 모델이 느린 이유가 도구 때문인지 컴퓨터 성능 때문인지 구분해야 합니다.

CPU만 있는 PC

가능은 합니다. 하지만 기대치를 낮춰야 합니다. 작은 모델로 요약, 짧은 문장 정리, 간단한 질문부터 시작하세요.

추천:

• LM Studio 또는 GPT4All
• 작은 3B~7B급 모델
• 긴 문서보다 짧은 테스트

NVIDIA GPU가 있는 PC

가장 편한 편입니다. CUDA 생태계가 넓어서 여러 도구가 잘 붙습니다.

추천:

• Ollama
• LM Studio
• 나중에 OpenWebUI 연결

AMD GPU가 있는 PC

제 경험상 AMD는 가능하지만 길이 조금 더 울퉁불퉁합니다. Windows에서 바로 깔끔하게 되지 않는 경우가 있고, ROCm이나 드라이버 호환성을 신경 써야 할 때가 있습니다.

그래서 초보자라면 AMD에서는 LM Studio로 먼저 성공 경험을 만드는 편이 좋습니다. 이후 필요하면 Ollama, WSL2, Linux 쪽으로 넓혀가면 됩니다.

Mac, 특히 Apple Silicon

Mac은 로컬 LLM 입문이 꽤 편한 편입니다. Ollama와 LM Studio 모두 시작하기 좋고, 개인 작업용으로 체감이 좋습니다.

추천:

• 개발자: Ollama
• GUI 선호: LM Studio
• 웹 UI 필요: Ollama + OpenWebUI

9. 초보자 선택 공식

아래 질문에 답하면 됩니다.

1. 명령어가 편한가?

• 예: Ollama
• 아니오: LM Studio

1. 브라우저에서 ChatGPT처럼 쓰고 싶은가?

• 예: OpenWebUI를 추가
• 아니오: LM Studio 또는 Ollama만으로 시작

1. 자동화까지 생각하는가?

• 예: Ollama를 익혀두기
• 아니오: LM Studio로 먼저 성공

1. 문서 기반 개인 지식 챗봇이 목표인가?

• 예: GPT4All도 후보

1. 서버/API 운영이 목표인가?

• 예: LocalAI 또는 vLLM은 나중 단계 후보

처음부터 완벽한 선택을 할 필요는 없습니다. 중요한 것은 첫 실행에 성공하는 것입니다. 첫 모델이 내 컴퓨터에서 답하는 걸 보면 이후 개념이 훨씬 빨리 붙습니다.

10. 이 시리즈의 추천 경로

이 시리즈에서는 다음 순서로 갑니다.

1. Ollama 또는 LM Studio로 첫 모델 실행
2. OpenWebUI로 웹 인터페이스 구성
3. n8n으로 로컬 AI 자동화 연결
4. 외부 접근을 안전하게 구성
5. NAS에서 24시간 운영 구조 만들기

그래서 에피소드 3에서는 Ollama와 LM Studio 설치부터 다룹니다. 둘 중 하나만 설치해도 됩니다. 더 좋은 것은 둘 다 설치해보고 감을 비교하는 것입니다.

11. 다음 편 예고

다음 편에서는 설치로 들어갑니다.

• Windows에서 Ollama 설치
• Mac에서 Ollama 설치
• LM Studio 설치와 첫 모델 다운로드
• 로컬 서버 켜기
• GPU가 안 잡힐 때 확인할 것
• 모델 다운로드가 느릴 때 확인할 것

설치 편부터는 화면과 실제 명령이 중요합니다. 그래서 다음 편은 이미지와 스크린샷 품질이 특히 중요합니다.

다음 글: 에피소드 3: Ollama/LM Studio 완벽 설치 가이드

참고한 공식 문서

• Ollama Documentation: https://docs.ollama.com/index
• LM Studio Local Server: https://lmstudio.ai/docs/developer/core/server
• OpenWebUI Ollama Guide: https://docs.openwebui.com/getting-started/quick-start/connect-a-provider/starting-with-ollama/
• GPT4All Documentation: https://docs.gpt4all.io/
• LocalAI Overview: https://localai.io/docs/overview/index.html
• vLLM OpenAI-Compatible Server: https://docs.vllm.ai/en/stable/serving/openai_compatible_server/