Ollama와 LM Studio를 설치하고 첫 로컬 AI 모델을 실행하는 방법을 Windows, macOS, Linux 기준으로 정리합니다. 설치 후 정상 작동 확인과 흔한 오류 해결법까지 초보자 눈높이에서 안내합니다.
에피소드 2에서 도구를 골랐다면 이제 실제로 실행해볼 차례입니다.
여기서 목표를 너무 크게 잡지 않겠습니다. 오늘의 목표는 단 하나입니다.
내 컴퓨터에서 로컬 AI 모델 하나가 실제로 답하게 만들기.
OpenWebUI, n8n, 외부 접속, NAS 운영은 아직 아닙니다. 그것들은 뒤에서 하나씩 붙입니다. 이번 편에서는 Ollama 또는 LM Studio 중 하나를 설치하고, 모델을 하나 내려받고, 짧은 질문에 답을 받는 것까지만 성공하면 됩니다.
1. 어떤 경로로 설치할까
둘 중 하나를 고르면 됩니다.
| 상황 | 추천 |
|---|---|
| 명령어가 괜찮고 자동화까지 생각한다 | Ollama |
| 처음이라 화면으로 보고 싶다 | LM Studio |
| 둘 다 궁금하다 | LM Studio로 먼저 성공하고 Ollama를 추가 |
저는 장기적으로 Ollama를 배워두는 쪽을 추천합니다. 나중에 OpenWebUI, n8n, Python 스크립트와 연결하기 쉽기 때문입니다. 하지만 첫 성공 경험만 놓고 보면 LM Studio가 더 편할 수 있습니다.
2. 설치 전에 확인할 것
설치 전에 아래만 확인하세요.
- 저장공간: 모델 파일 때문에 최소 수십 GB 여유가 있으면 좋습니다.
- 메모리: 8GB도 시작은 가능하지만 16GB 이상이 편합니다.
- GPU: 없어도 시작은 가능하지만 느릴 수 있습니다.
- 인터넷: 모델 다운로드가 몇 GB 단위일 수 있습니다.
- 회사/공용 PC: 보안 정책상 로컬 서버 실행이 제한될 수 있습니다.
초보자에게 가장 흔한 실패는 "설치는 됐는데 모델이 너무 크다"입니다. 처음부터 큰 모델을 받지 말고 작은 모델로 성공부터 확인하세요.
3. Ollama 설치: Windows
Windows에서는 공식 Ollama 다운로드 페이지에서 설치 파일을 받아 설치하는 흐름이 가장 쉽습니다.
설치 후 PowerShell을 열고 아래처럼 확인합니다.
ollama -v버전이 출력되면 Ollama 명령어가 잡힌 것입니다.
이제 작은 모델 하나를 실행합니다. 발행 전 최종 모델명은 공식 라이브러리 기준으로 다시 확인하되, 구조는 아래와 같습니다.
ollama run <model-name>처음 실행하면 모델을 내려받습니다. 다운로드가 끝나면 바로 채팅 프롬프트가 뜹니다. 이때 한국어로 짧게 물어보세요.
로컬 AI가 무엇인지 초보자에게 두 문장으로 설명해줘.답이 나오면 첫 성공입니다.
4. Ollama 설치: macOS
macOS는 공식 DMG 파일을 받아 Applications 폴더에 넣는 방식이 기본입니다. Apple Silicon Mac에서는 로컬 LLM 입문 체감이 좋은 편입니다.
설치 후 터미널에서 확인합니다.
ollama -v모델 실행은 Windows와 같습니다.
ollama run <model-name>macOS에서 모델 파일은 저장공간을 꽤 사용합니다. 노트북 저장공간이 부족하다면 모델을 많이 받기 전에 정리 계획을 세워두세요.
5. Ollama 설치: Linux
Linux에서는 공식 문서 기준으로 설치 스크립트를 사용할 수 있습니다.
curl -fsSL https://ollama.com/install.sh | sh보안상 중요한 점이 있습니다. 위 명령은 공식 문서에 있는 편한 설치 방식이지만, 운영 서버에서는 설치 스크립트를 읽어보고 실행하는 습관이 좋습니다.
설치 후 확인합니다.
ollama -vOllama 서버를 직접 띄워야 하는 환경이라면:
ollama serve다른 터미널에서 모델을 실행합니다.
ollama run <model-name>6. LM Studio 설치
LM Studio는 공식 사이트에서 운영체제에 맞는 설치 파일을 받으면 됩니다. 설치 후 흐름은 대체로 이렇습니다.
- LM Studio 실행
- 모델 검색
- 작은 모델 다운로드
- 모델 로드
- 채팅창에서 질문
- 필요하면 Developer 또는 Server 영역에서 로컬 서버 시작
LM Studio의 장점은 지금 무엇이 로드되어 있고, 서버가 켜져 있는지 화면으로 확인하기 쉽다는 점입니다.
로컬 서버를 켜면 다른 도구에서 LM Studio를 API처럼 부를 수 있습니다. 이 기능은 뒤에서 OpenWebUI나 n8n과 연결할 때 중요해집니다.
7. 정상 작동 확인
Ollama는 기본적으로 로컬 API를 제공합니다. 설치 후 로컬에서만 확인하는 예시는 다음과 같습니다.
curl http://localhost:11434/api/tags모델 목록이 JSON 형태로 나오면 로컬 API가 응답하는 것입니다.
Windows에서 curl이 낯설다면 브라우저나 PowerShell 테스트로 확인할 수도 있습니다. 다만 이번 편에서는 "모델과 채팅이 된다"가 더 중요합니다. API 테스트는 자동화로 넘어갈 때 다시 다룹니다.
LM Studio는 앱 안에서 모델이 로드되어 있는지, 서버가 켜져 있는지를 먼저 확인하세요. 서버를 켠 경우에는 LM Studio가 보여주는 endpoint를 기준으로 연결합니다.
8. 흔한 오류와 해결
명령어를 찾을 수 없음
설치는 됐는데 ollama 명령어를 찾지 못한다면 PATH 문제일 수 있습니다. 앱을 다시 실행하거나 터미널을 새로 열어보세요. 그래도 안 되면 공식 설치 문서의 PATH 안내를 확인합니다.
모델 다운로드가 너무 느림
모델은 몇 GB가 될 수 있습니다. 와이파이가 불안정하면 유선 연결을 쓰거나 작은 모델부터 받으세요.
응답이 너무 느림
처음에는 정상입니다. 특히 CPU만 쓰면 느릴 수 있습니다. 작은 모델로 바꾸고, 다른 프로그램을 닫고, 긴 질문 대신 짧은 질문으로 테스트하세요.
메모리 부족
가장 흔합니다. 큰 모델을 고르면 다운로드는 돼도 실행이 안 될 수 있습니다. 작은 모델로 시작하세요. 로컬 AI는 "가장 큰 모델을 돌리는 게임"이 아닙니다. 내 장비에 맞는 모델을 고르는 게임입니다.
AMD GPU가 잘 안 잡힘
AMD GPU는 환경에 따라 체감 난이도가 다릅니다. Windows에서는 LM Studio로 먼저 성공 경험을 만들고, 이후 필요하면 Linux/WSL2/ROCm 경로를 검토하는 편이 안전합니다.
9. 첫 테스트 질문
설치가 끝났다면 어려운 질문부터 하지 마세요. 짧고 확인하기 쉬운 질문으로 시작합니다.
로컬 AI가 클라우드 AI와 다른 점을 초보자에게 세 줄로 설명해줘.그리고 한 번 더 물어봅니다.
내가 방금 한 질문을 한 문장으로 요약해줘.이 두 질문에 답하면 기본 채팅은 성공입니다.
10. 이번 편에서 하지 않는 것
이번 편에서는 일부러 하지 않는 것이 있습니다.
- 외부에서 접속하게 만들기
- 공유기 포트 열기
- HTTPS 인증서 붙이기
- n8n 자동화 만들기
- NAS 24시간 운영
- 여러 사용자가 동시에 쓰는 서버 만들기
이것들을 한 번에 하면 망가졌을 때 어디가 문제인지 모릅니다. 먼저 로컬 단독 실행이 되는지 확인해야 합니다.
11. 다음 편 예고
다음 편에서는 OpenWebUI를 붙입니다.
Ollama나 LM Studio만으로도 대화는 가능합니다. 하지만 브라우저에서 더 편하게 쓰고, 대화 내역을 관리하고, 나중에 NAS나 여러 모델을 연결하려면 OpenWebUI가 유용합니다.
다음 글: 에피소드 4: OpenWebUI로 멋진 인터페이스 만들기
참고한 공식 문서
- Ollama Linux Install: https://docs.ollama.com/linux
- Ollama macOS Install: https://docs.ollama.com/macos
- Ollama API: https://docs.ollama.com/api
- LM Studio Local Server: https://lmstudio.ai/docs/developer/core/server
- OpenWebUI Quick Start: https://docs.openwebui.com/getting-started/quick-start/
- OpenWebUI Ollama Guide: https://docs.openwebui.com/getting-started/quick-start/connect-a-provider/starting-with-ollama/
