회사 자료, 밖으로 안 보내고 AI에 물어보려면

내 질문은 어디까지 갈까

웹 AI 챗봇에 붙여 넣으면Ollama 로컬 모델Ollama 클라우드 모델

!붙여 넣은 계약서가 인터넷을 건너 AI 회사 서버에서 읽혀요.답은 빠르고 똑똑하지만, 회사 규정상 밖으로 보내면 안 되는 자료라면 여기서 손이 멈추죠. 저장 기간과 쓰임은 그 회사 약관을 따라요.

질문과 답이 내 컴퓨터 안에서 오가요.인터넷은 모델 파일을 처음 받을 때만 써요. 공식 문서는 로컬로 돌릴 때 Ollama도 프롬프트와 자료를 보지 못한다고 적어요. 대신 속도와 쓸 수 있는 모델 크기는 내 컴퓨터 메모리가 정해요.

?같은 Ollama라도 :cloud 모델은 서버로 가요.큰 모델을 내 컴퓨터 없이 돌리는 대신, 질문이 ollama.com 서버에서 처리돼요. 공식 문서는 이 내용을 저장·기록하지 않고 학습에 쓰지 않는다고 밝혀요. 로컬로만 쓰려면 클라우드 기능을 꺼 두세요.

공식 문서(자주 묻는 질문, 클라우드, 빠른 시작)의 설명을 보여 주려고 저희가 그린 예시예요. 웹 AI 챗봇의 자료 처리는 서비스마다 달라요.

한눈에

어떻게 작동하나요

1. 모델 파일을 받아 메모리에 올려요. 모델은 수 GB짜리 파일이에요. 처음 부를 때 내려받아 맥은 ~/.ollama/models 에 저장하고, 쓸 때 그래픽카드 메모리(VRAM)나 맥의 통합 메모리에 올려요. 다 안 들어가면 나머지를 일반 메모리(RAM)에 나눠 올리는데, 그만큼 답이 느려져요. ollama ps 의 PROCESSOR 칸이 100% GPU 인지, 48%/52% CPU/GPU 처럼 나뉘었는지 보면 알 수 있어요.2. 기억하는 길이도 메모리가 정해요. 한 번에 기억하는 대화 길이(컨텍스트)는 VRAM이 24GiB보다 적으면 기본 4k로 잡혀요. 문서는 코딩 도구나 에이전트처럼 긴 맥락이 필요한 일에는 64000 이상을 권하는데, 길이를 늘리면 메모리가 더 들어요.3. 로컬과 클라우드를 나눠요. 로그인하면 :cloud 모델을 Ollama 서버에서 돌릴 수 있어요. 앱 설정의 Airplane mode나 OLLAMA_NO_CLOUD=1 을 켜면 클라우드 모델과 웹 검색이 꺼지고 로컬로만 돌아요.공식 빠른 시작이 권하는 첫 모델 gemma4:e2b 는 내려받기가 약 7.2GB이고, VRAM이나 맥 통합 메모리 8GB를 권해요. 내 컴퓨터 사양을 먼저 보고 모델 크기를 고르세요.

바로 쓸 수 있나요

시작하기

1. 설치(맥·리눅스)

   터미널에 한 줄이면 돼요. 맥은 dmg 파일을 받아 응용 프로그램 폴더로 끌어 넣어도 돼요. 맥OS 14(소노마) 이상이 필요해요.

   curl -fsSL https://ollama.com/install.sh | sh

   복사
2. 설치(윈도우)

   파워셸에 한 줄이면 돼요. 설치 파일(OllamaSetup.exe)로도 되고, 관리자 권한 없이 내 계정에 깔려요. 윈도우 10 22H2 이상이에요.

   irm https://ollama.com/install.ps1 | iex

   복사
3. 처음 설정

   로컬 모델을 고르거나, 쓰고 있는 도구에 연결하라고 안내가 나와요. 로그인은 클라우드 모델을 쓸 때만 필요해요.

   ollama

   복사
4. 작은 모델로 대화 시작

   공식 빠른 시작이 권하는 첫 모델이에요. 약 7.2GB를 내려받고 대화가 시작돼요. 끝낼 때는 /bye 를 입력해요.

   ollama run gemma4:e2b

   복사

처음 쓰는 순서

1. ollama앱이나 터미널에서 처음 설정, 로컬 모델을 고르기
2. ollama run gemma4:e2b작은 모델로 먼저 대화해 보기(약 7.2GB)
3. ollama psGPU에 다 올라갔는지, 기억 길이는 얼마인지 확인
4. OLLAMA_NO_CLOUD=1로컬로만 쓸 거면 클라우드 기능 끄기
5. ollama launch claude익숙해지면 쓰던 도구와 연결

README와 공식 문서(빠른 시작, 자주 묻는 질문, 컨텍스트 길이)에 나온 명령을 처음 쓰는 순서로 묶은 예예요.

명령 하나에 내 컴퓨터에서 이렇게 돌아가요

명령어 전체 14개, 언제 쓰나

공식 CLI 문서(docs.ollama.com/cli)에 나온 명령 중 자주 쓸 만한 것만 골랐어요. ollama serve --help 로 바꿀 수 있는 설정 목록을 볼 수 있어요.

터미널 없이도 써요

curl http://localhost:11434/api/chat -d '{"model": "gemma4", "messages": [{"role": "user", "content": "Why is the sky blue?"}], "stream": false}'

비슷한 도구

Ollama는 모델을 돌리는 엔진이고, 아래 둘은 그 위에 얹어 쓰는 화면이에요(각 README 기준).

주의할 점

1. 인터넷으로 자료가 나가지 않는 건 로컬 모델일 때예요. 이름에 :cloud 가 붙은 모델이나 웹 검색은 Ollama 서버를 거쳐요. 공식 문서는 클라우드 프롬프트를 저장·기록하지 않고 학습에 쓰지 않는다고 밝히지만, 회사 규정상 밖으로 못 내보내는 자료라면 Airplane mode나 OLLAMA_NO_CLOUD=1 로 클라우드 기능을 꺼 두세요.
2. 사양의 벽이 분명해요. 모델이 그래픽카드 메모리에 다 안 들어가면 일반 메모리로 넘쳐 답이 느려지고, VRAM 24GiB 미만이면 기억 길이가 기본 4k라 긴 문서나 코딩 도구에는 짧아요. 맥 인텔 칩은 CPU로만 돌고, NVIDIA는 compute capability 5.0 이상만 지원해요.
3. 모델 파일이 커요. 하나에 수 GB, 큰 모델은 수십에서 수백 GB라 저장 공간을 먼저 확인하고, 안 쓰는 모델은 ollama rm 으로 지우세요.
4. 앱 설정의 Expose Ollama to the network 를 켜면 같은 망의 다른 기기와 서비스도 내 Ollama에 접속할 수 있어요. 기본은 내 컴퓨터 안에서만 열려 있어요(127.0.0.1).
5. Ollama는 실행기이고, 모델마다 만든 회사와 이용 조건(라이선스)이 따로 있어요. 업무에 쓰기 전에 고른 모델의 조건을 확인하세요. 맥과 윈도우에서는 로그인할 때 자동으로 켜지게 설치돼요.

더 보기

Ollama 팀이 만들고, 모델 실행은 Georgi Gerganov가 시작한 llama.cpp 프로젝트를 바탕으로 해요(README 기준).

빠른 시작 ↗모델 목록 ↗자주 묻는 질문 ↗지원하는 그래픽카드 ↗컨텍스트 길이 ↗CLI 명령 ↗깃허브 저장소 ↗

낯선 말

1. 로컬 모델 · 인터넷 너머 서버가 아니라 내 컴퓨터에서 돌아가는 AI 모델이에요
2. 오픈 모델 · 만든 회사가 모델 파일을 공개해 누구나 내려받아 돌릴 수 있게 한 AI 모델이에요. 젬마, 큐웬 같은 것들이죠
3. VRAM·통합 메모리 · VRAM은 그래픽카드에 달린 메모리예요. 맥의 M 칩은 CPU와 GPU가 메모리를 함께 써서 통합 메모리라고 불러요
4. 컨텍스트 길이 · 모델이 한 번에 기억하고 참고하는 글의 길이예요. 길수록 메모리를 더 써요
5. API · 다른 프로그램이 이 프로그램에 일을 시키는 정해진 창구예요
6. localhost · 지금 쓰는 내 컴퓨터 자신을 가리키는 주소예요. 밖에서는 들어올 수 없어요