에피소드 1: AI 대세와 LLM 기초, 그리고 왜 로컬 AI인가

ChatGPT 같은 클라우드 AI와 Ollama, LM Studio 같은 로컬 AI의 차이를 초보자 눈높이에서 정리합니다. LLM, 토큰, 파라미터의 기본 개념과 로컬 AI를 선택해야 하는 상황을 실제 경험 중심으로 설명합니다.

AI를 처음 써보면 거의 대부분 같은 길로 들어옵니다. 검색하다가 ChatGPT를 켜고, 몇 번 질문해보고, 생각보다 답을 잘해서 놀랍니다. 그다음에는 이런 생각이 들죠.

"이거 계속 쓰면 돈이 얼마나 나가지?"

"회사 문서나 개인 자료를 여기에 넣어도 괜찮나?"

"내 컴퓨터에서 직접 돌릴 수는 없나?"

저도 처음에는 똑같았습니다. 클라우드 AI가 워낙 편하니까 그냥 쓰면 된다고 생각했습니다. 그런데 몇 달 지나니 불편한 지점이 하나씩 보였습니다. 반복 작업을 많이 할수록 비용이 신경 쓰였고, 개인 자료나 내부 문서를 넣을 때마다 찝찝했고, 인터넷이나 서비스 상태에 따라 작업 흐름이 끊기기도 했습니다.

그때부터 로컬 AI를 찾아보기 시작했습니다. 처음에는 어려울 줄 알았습니다. 서버, GPU, 모델, 토큰, API 같은 단어가 한꺼번에 나오니까요. 그런데 막상 해보니 핵심은 단순했습니다.

클라우드 AI는 남의 강력한 컴퓨터를 빌려 쓰는 방식이고, 로컬 AI는 내 컴퓨터나 NAS에서 직접 모델을 돌리는 방식입니다.

이 글은 그 첫 번째 입구입니다. 설치부터 들어가지 않고, 먼저 AI와 LLM이 무엇인지, 로컬과 클라우드가 어떻게 다른지, 그리고 왜 굳이 로컬 AI를 배워야 하는지를 차근차근 정리해보겠습니다.

이 글에서 가져갈 것

• LLM이 무엇인지 쉬운 말로 이해합니다.
• 토큰, 파라미터, 모델 크기가 왜 중요한지 감을 잡습니다.
• 클라우드 AI와 로컬 AI의 장단점을 구분합니다.
• 로컬 AI가 필요한 상황과 필요 없는 상황을 나눕니다.
• 다음 편에서 어떤 도구부터 설치할지 준비합니다.

1. AI가 특별한 사람만 쓰는 기술이 아니게 된 이유

몇 년 전만 해도 AI는 연구소, 대기업, 개발자의 영역처럼 느껴졌습니다. 그런데 지금은 다릅니다. 글쓰기, 번역, 코드 작성, 이미지 분석, 자료 요약, 업무 자동화까지 일상 작업 안으로 들어왔습니다.

중요한 변화는 세 가지입니다.

첫째, 클라우드 AI가 너무 쉬워졌습니다. 계정만 만들면 바로 질문할 수 있고, 이미지나 파일을 넣어 분석하는 일도 자연스러워졌습니다.

둘째, 모델이 작아지고 빨라졌습니다. 예전에는 아주 큰 서버가 있어야만 가능하다고 느꼈던 작업 중 일부가 이제는 개인 PC나 노트북에서도 돌아갑니다.

셋째, 로컬 도구가 좋아졌습니다. Ollama, LM Studio, OpenWebUI 같은 도구 덕분에 명령어 몇 줄 또는 GUI 클릭만으로 로컬 모델을 실행할 수 있습니다.

그래서 이제 질문은 "AI를 쓸 것인가?"가 아닙니다.

"어떤 AI를 어디에서 돌릴 것인가?"가 더 현실적인 질문입니다.

2. LLM이란 무엇인가

LLM은 Large Language Model, 즉 대규모 언어 모델입니다. 이름은 어렵지만 비유하면 이렇습니다.

수많은 글을 읽고 말의 흐름을 배운 사람이 있다고 생각해봅시다. 그 사람에게 "오늘 날씨가 좋으니"라고 말하면, 다음에 올 말로 "산책을 가고 싶다", "빨래가 잘 마르겠다", "창문을 열었다" 같은 후보를 떠올릴 수 있습니다.

LLM도 비슷합니다. 입력된 문장을 보고 다음에 이어질 가능성이 높은 말을 계산합니다. 다만 사람처럼 감으로 하는 것이 아니라, 학습된 수많은 패턴과 확률을 바탕으로 계산합니다.

조금 더 풀면 이런 흐름입니다.

1. 사용자의 문장을 잘게 나눕니다.
2. 나뉜 조각을 숫자로 바꿉니다.
3. 앞뒤 문맥을 보며 의미 관계를 계산합니다.
4. 다음에 올 가능성이 높은 조각을 고릅니다.
5. 이 과정을 반복해 답변을 만듭니다.

이 설명만 들으면 "그냥 다음 단어 맞히기 아닌가?" 싶을 수 있습니다. 맞습니다. 그런데 그 규모가 엄청나게 커지면 번역, 요약, 코드 작성, 상담, 계획 세우기 같은 일이 가능해집니다.

3. 토큰, 파라미터, 모델 크기

AI 글을 보다 보면 토큰, 파라미터, 7B, 13B 같은 단어가 계속 나옵니다. 여기서 막히면 뒤의 설치 글도 어렵게 느껴집니다. 아주 간단히 잡고 가겠습니다.

토큰

토큰은 AI가 문장을 읽는 단위입니다. 단어와 완전히 같지는 않습니다. 영어는 단어 조각 단위로, 한국어는 더 잘게 쪼개지는 경우가 많습니다.

예를 들어 "인공지능을 배우고 있습니다"라는 문장은 사람이 보기에는 몇 단어 안 되지만, 모델 입장에서는 여러 토큰으로 나뉩니다.

토큰이 중요한 이유는 비용과 속도 때문입니다.

클라우드 API는 대부분 입력 토큰과 출력 토큰을 기준으로 요금을 계산합니다. 반대로 로컬 AI는 모델을 내려받아 내 장비에서 실행하므로 요청할 때마다 토큰 요금이 붙지는 않습니다. 대신 장비 성능, 전기료, 저장공간, 설정 시간이 비용이 됩니다.

정리하면 이렇습니다.

• 클라우드 AI: 쓸 때마다 사용량 비용이 늘어날 수 있음
• 로컬 AI: 장비와 운영 비용을 먼저 감수하는 방식
• 둘 다 무료가 아님
• 비용 구조가 다를 뿐임

파라미터

파라미터는 모델이 학습하면서 갖게 된 내부 가중치입니다. 흔히 모델의 "뇌세포 숫자"처럼 비유하지만, 정확히는 모델이 패턴을 기억하고 계산하는 숫자 묶음에 가깝습니다.

7B는 약 70억 개, 13B는 약 130억 개 파라미터를 뜻합니다. 일반적으로 파라미터가 많으면 더 복잡한 일을 잘할 가능성이 있지만, 항상 큰 모델이 정답은 아닙니다.

작은 모델은 빠르고 가볍습니다. 큰 모델은 더 똑똑할 수 있지만 느리고 무겁습니다. 내 작업이 단순 요약, 짧은 문장 정리, 반복적인 분류라면 작은 모델이 더 편할 수 있습니다. 반대로 긴 보고서 분석이나 복잡한 추론은 클라우드의 강한 모델이 더 나을 때가 많습니다.

모델 크기

로컬 AI에서 모델 크기는 실제 저장공간과 메모리 사용량으로 바로 연결됩니다. 같은 7B 모델이라도 양자화 방식에 따라 필요한 용량이 달라집니다.

초보자는 처음부터 가장 큰 모델을 고르지 않는 것이 좋습니다. 설치에 성공하고, 응답을 받아보고, 내 컴퓨터가 어느 정도 버티는지 확인한 뒤 한 단계씩 올리는 편이 실패가 적습니다.

4. 클라우드 AI, 로컬 AI, 하이브리드

AI 사용 방식은 크게 세 가지로 나눌 수 있습니다.

클라우드 AI

ChatGPT, Claude, Gemini 같은 서비스가 대표적입니다. 장점은 분명합니다.

• 가입하고 바로 쓸 수 있습니다.
• 최신 강력 모델을 쉽게 사용할 수 있습니다.
• 내 컴퓨터 사양이 낮아도 상관없습니다.
• 이미지, 파일, 음성, 도구 연동이 빠르게 붙습니다.

하지만 단점도 있습니다.

• API는 사용량에 따라 비용이 늘어납니다.
• 구독과 API 비용은 별개인 경우가 많습니다.
• 민감한 문서를 넣기 전에 정책과 보안 조건을 확인해야 합니다.
• 서비스 장애나 인터넷 상태에 영향을 받습니다.

클라우드 AI는 "가장 강한 모델을 편하게 빌려 쓰는 방식"입니다.

로컬 AI

로컬 AI는 내 PC, 작업용 컴퓨터, NAS, 사내 서버에서 모델을 직접 실행합니다. Ollama나 LM Studio 같은 도구를 쓰면 생각보다 쉽게 시작할 수 있습니다.

장점은 이런 쪽에 있습니다.

• 자료를 외부 API로 보내지 않는 구조를 만들 수 있습니다.
• 반복 작업을 많이 해도 요청마다 API 비용이 붙지 않습니다.
• 인터넷이 불안정해도 내부 작업을 이어갈 수 있습니다.
• 모델, 프롬프트, 저장 위치, 접근 권한을 직접 통제할 수 있습니다.

단점도 솔직히 봐야 합니다.

• 설치와 설정을 배워야 합니다.
• 컴퓨터 성능이 낮으면 느립니다.
• 최신 최고급 클라우드 모델만큼 똑똑하지 않을 수 있습니다.
• 보안 설정을 잘못하면 오히려 위험해집니다.

로컬 AI는 "내 공간 안에 작은 AI 작업실을 만드는 방식"입니다.

하이브리드

제가 가장 현실적이라고 보는 방식은 하이브리드입니다.

예를 들어 이렇게 나눕니다.

• 개인 메모 정리: 로컬 AI
• 내부 문서 초안 요약: 로컬 AI
• 공개 자료 기반 최신 리서치: 클라우드 AI
• 복잡한 전략 판단: 강한 클라우드 모델
• 반복 자동화: 로컬 AI + n8n
• 최종 검토: 사람

처음부터 "전부 로컬" 또는 "전부 클라우드"로 갈 필요는 없습니다. 중요한 것은 작업을 나누는 기준입니다.

민감한가? 반복이 많은가? 최신성이 중요한가? 정확도가 중요한가? 비용이 쌓이는가?

이 질문에 따라 도구를 고르면 됩니다.

5. 제가 로컬 AI를 찾게 된 이유

처음에는 저도 클라우드 AI만 썼습니다. 글 초안, 코드 질문, 문서 정리, 아이디어 정리까지 너무 편했습니다. 그런데 사용량이 늘수록 몇 가지 문제가 생겼습니다.

첫 번째는 비용 감각입니다. 구독료만 생각하면 간단한데, API를 자동화에 붙이기 시작하면 이야기가 달라집니다. 작은 요청도 하루 수백 번, 한 달 수천 번 반복되면 비용이 체감됩니다.

두 번째는 자료의 성격입니다. 공개 자료는 괜찮습니다. 하지만 개인 메모, 내부 운영 문서, 고객 정보가 섞인 파일은 넣기 전에 멈칫하게 됩니다. 이 멈칫함이 반복되면 작업 속도가 떨어집니다.

세 번째는 자동화입니다. n8n 같은 도구로 반복 작업을 만들면 AI 호출이 많아집니다. 이때 모든 호출을 클라우드 API로 보내면 비용과 보안, 장애 대응을 계속 신경 써야 합니다.

그래서 로컬 AI를 붙여봤습니다. 처음에는 기대가 낮았습니다. 그런데 요약, 분류, 초안, 규칙 기반 문서 정리 같은 작업은 충분히 쓸 만했습니다. 최고 모델처럼 모든 걸 해결하진 못해도, 매일 반복되는 70퍼센트 작업을 맡기기에는 괜찮았습니다.

그때부터 관점이 바뀌었습니다.

"로컬 AI가 클라우드 AI를 이길 수 있나?"가 아니라,

"어떤 일은 로컬에 맡기고, 어떤 일은 클라우드에 맡길까?"가 되었습니다.

6. 로컬 AI가 특히 좋은 상황

로컬 AI가 빛나는 상황은 분명합니다.

반복 작업이 많을 때

매일 비슷한 문서를 요약하거나, 제목을 뽑거나, 카테고리를 분류하거나, 로그를 읽는 작업은 로컬 AI와 잘 맞습니다. 아주 강한 추론보다 꾸준한 처리량이 중요하기 때문입니다.

자료를 밖으로 보내기 부담스러울 때

개인 메모, 내부 운영 문서, 고객 응대 기록, 사내 지식 문서처럼 외부 전송이 부담스러운 자료는 로컬 처리가 마음 편합니다. 물론 로컬이라고 자동으로 안전한 것은 아닙니다. 저장 위치, 접근 권한, 백업, 외부 포트 개방 여부를 함께 관리해야 합니다.

자동화를 만들 때

n8n, Python 스크립트, 내부 대시보드와 연결할 때 로컬 AI는 좋은 부품이 됩니다. 빠른 초안, 1차 분류, 임시 요약 같은 작업을 로컬에서 처리하고, 정말 중요한 판단만 클라우드로 넘기는 식입니다.

배우면서 통제하고 싶을 때

로컬 AI를 만지면 AI가 어떻게 움직이는지 감이 생깁니다. 모델을 바꾸고, 프롬프트를 바꾸고, 온도 값을 바꾸고, 같은 질문을 여러 모델에 던져보면서 차이를 느끼게 됩니다.

이 경험은 클라우드 AI를 쓸 때도 도움이 됩니다. 좋은 질문을 만들고, 비용을 줄이고, 결과를 검증하는 눈이 생깁니다.

7. 로컬 AI가 맞지 않는 상황

반대로 로컬 AI가 항상 정답은 아닙니다.

최신 정보를 찾아야 하는 작업은 웹 검색이나 최신 데이터 연결이 필요합니다. 로컬 모델만으로는 오늘 나온 뉴스나 최신 가격을 알 수 없습니다.

복잡한 추론, 고난도 코딩, 법률/의료/재무처럼 정확성이 중요한 영역은 강한 모델과 사람 검토가 필요합니다.

또한 장비가 너무 약하면 경험이 좋지 않을 수 있습니다. CPU만으로도 실행은 가능하지만, 답변이 늦으면 결국 손이 안 갑니다.

그래서 저는 이렇게 권합니다.

처음에는 로컬 AI를 "내 컴퓨터 안의 보조 작업자"로 생각하세요. 모든 것을 맡기는 사장이 아니라, 반복적인 초안과 정리를 맡기는 직원에 가깝습니다.

8. 첫 번째 결론

이 시리즈에서 우리가 만들 것은 거창한 연구소가 아닙니다.

내 컴퓨터나 NAS에 AI 모델을 올리고, OpenWebUI로 편하게 대화하고, n8n으로 자동화에 연결하고, 필요하면 외부에서도 안전하게 접근하는 작은 AI 작업 환경입니다.

그 과정에서 중요한 기준은 세 가지입니다.

1. 내 자료가 어디로 가는지 알아야 합니다.
2. 비용이 어떤 구조로 쌓이는지 알아야 합니다.
3. 내가 통제할 수 있는 범위를 넓혀야 합니다.

클라우드 AI는 계속 필요합니다. 강력하고 편합니다. 하지만 모든 일을 클라우드에 맡길 필요는 없습니다. 로컬 AI를 익히면 선택지가 생깁니다. 선택지가 생기면 비용, 보안, 자동화에서 훨씬 자유로워집니다.

9. 다음 편 예고

다음 편에서는 실제 도구를 비교합니다.

Ollama, LM Studio, OpenWebUI, LocalAI 같은 이름이 왜 나오는지, 초보자는 어떤 도구부터 시작하면 좋은지, 내 컴퓨터 사양에 따라 어떤 선택을 하면 되는지 정리하겠습니다.

바로 설치부터 하고 싶은 마음이 들 수 있지만, 도구 선택을 한 번 잡고 가면 뒤에서 훨씬 덜 헤맵니다.

다음 글: 에피소드 2: 로컬 LLM 시작하기 – 도구 비교

참고한 공식 문서

• OpenAI API Pricing: https://openai.com/api/pricing/
• Claude API Pricing: https://platform.claude.com/docs/en/about-claude/pricing
• Gemini API Pricing: https://ai.google.dev/gemini-api/docs/pricing
• Ollama Documentation: https://docs.ollama.com/index
• LM Studio Local Server: https://lmstudio.ai/docs/developer/core/server