AnythingLLM
앱과 인터페이스
내 문서와 AI 에이전트로 대화하는 데스크톱 앱으로, 내 컴퓨터에서 로컬로 실행되며 계정이 필요 없습니다.
무료무료 요금제
유료 시작미공개
- macOS(Apple Silicon, Intel), Windows(x64, ARM), Linux 지원, MIT 오픈소스
- 제공사에 따르면 기본값이 로컬이며 모델, 문서, 대화는 기기에 남습니다
내 컴퓨터에서 실행하는 로컬 AI
로컬 AI에서는 언어 모델이 제공사의 클라우드가 아니라 내 노트북이나 PC에서 실행됩니다. 다운로드한 뒤에는 많은 기능을 오프라인으로도 쓸 수 있습니다. 언제 유용한지, 어떻게 시작하는지 알아보세요.
로컬 AI란?
Ollama, LM Studio, Jan 같은 앱을 설치하고 Llama, Gemma, Qwen 같은 오픈 모델을 다운로드합니다. 앱은 CPU나 그래픽카드로 답변을 생성합니다. 입력한 내용을 서버로 보낼 필요가 없습니다.
오프라인 AI는 언제 유용할까요?
로컬 AI는 기밀 문서를 다루면서 업로드하고 싶지 않을 때, 안정적인 인터넷 연결 없이 자주 일할 때, 구독이나 계정 없이 AI를 써 보고 싶을 때, 어떤 모델과 버전을 쓸지 직접 정하고 싶을 때 유용합니다.
어떤 하드웨어가 필요할까요?
모델이 클수록 메모리나 그래픽 메모리가 더 많이 필요합니다. 제공사에 따른 대략적인 기준은 다음과 같습니다. Jan에 따르면 Mac에서는 30억 파라미터(3B) 모델에는 8 GB, 7B에는 16 GB, 13B에는 32 GB 메모리가 필요합니다. OpenAI에 따르면 gpt-oss-20b는 16 GB 메모리로 실행됩니다. Google에 따르면 Gemma에는 노트북과 스마트폰용 작은 크기도 있습니다. 제공사에 따르면 llama.cpp와 whisper.cpp는 CPU만으로도 실행되며, 그래픽카드나 Apple Silicon이 있으면 더 빠릅니다. 제공사에 따르면 이미지와 영상용 ComfyUI는 그래픽 메모리 4 GB와 메모리 8 GB부터 실행됩니다.
개인정보 보호: 장점과 한계
가장 큰 장점은 앱과 모델을 오프라인으로 실행하면 입력 내용이 기기 밖으로 나가지 않는다는 점입니다. 하지만 한계도 있습니다. 많은 앱은 온라인 모델도 연결할 수 있습니다. 그러면 데이터가 해당 제공사로 전송됩니다. 제공사에 따르면 일부 앱은 익명 사용 데이터를 보냅니다. 설정을 확인하고 원하지 않으면 끄세요. 업데이트와 디스크 암호화 등으로 컴퓨터 자체를 잘 보호해야 합니다. 오픈 모델마다 라이선스 조건이 다릅니다. 업무에 쓰기 전에 읽어 보세요. 로컬 모델도 틀릴 수 있습니다. 중요한 답변은 확인하세요.
3단계로 시작하기
1. 제공사 사이트에서 LM Studio, Jan, Ollama 같은 앱을 설치합니다. 2. 메모리에 맞는 작은 모델을 다운로드합니다. 대부분의 앱이 알맞은 모델을 추천합니다. 3. 먼저 기밀이 아닌 문서로 첫 질문을 해 봅니다. 그다음 사용 데이터 설정을 확인합니다.
앱과 오픈 모델
로컬 AI 카테고리의 모든 항목입니다. 정보는 제공사 기준입니다.
자주 묻는 질문
로컬 AI에 그래픽카드가 필요한가요?
꼭 필요하지는 않습니다. 제공사에 따르면 llama.cpp와 whisper.cpp는 CPU만으로도 실행됩니다. 그래픽카드나 Apple Silicon이 있으면 훨씬 빠릅니다.
로컬 AI는 비용이 드나요?
제공사에 따르면 이 목록의 앱과 모델은 무료입니다. 하드웨어와 전기 요금만 듭니다.
로컬 AI는 인터넷 없이 작동하나요?
네, 앱과 모델을 다운로드한 뒤에는 작동합니다. 업데이트와 새 모델에는 다시 인터넷이 필요합니다.
로컬 모델은 대형 온라인 모델만큼 좋은가요?
모델과 컴퓨터에 따라 다릅니다. 작은 모델은 일반 노트북에서도 실행되지만 어려운 작업에서는 약한 경우가 많습니다. 내 작업으로 직접 테스트해 보세요.
오픈 모델을 회사에서 써도 되나요?
각 모델의 라이선스에 따라 다릅니다. 아주 개방적인 라이선스도 있고 조건이 있는 라이선스도 있습니다. 라이선스는 모델 페이지에 표시하며, 법률 자문은 아닙니다.