로컬 AI AI 도구 비교

AnythingLLM

앱과 인터페이스

내 문서와 AI 에이전트로 대화하는 데스크톱 앱으로, 내 컴퓨터에서 로컬로 실행되며 계정이 필요 없습니다.

• macOS(Apple Silicon, Intel), Windows(x64, ARM), Linux 지원, MIT 오픈소스
• 제공사에 따르면 기본값이 로컬이며 모델, 문서, 대화는 기기에 남습니다

자세히 사이트 보기 (새 탭에서 열림)

ComfyUI

앱과 인터페이스

내 컴퓨터에서 AI 이미지와 영상을 만드는 무료 오픈소스 소프트웨어로, 작업 단계를 연결해 워크플로를 구성합니다.

• 제공사에 따르면 데스크톱 버전은 계속 무료이며 GPL-3.0 오픈소스
• 제공사에 따르면 설정 후 완전히 오프라인으로 사용 가능

자세히 사이트 보기 (새 탭에서 열림)

Foundry Local

실행 환경과 서버

개발자가 AI 모델을 자체 앱에 넣어 기기에서 바로 실행하게 해 주는 Microsoft의 무료 런타임입니다.

• Windows, macOS(Apple silicon), Linux 지원, 제공사에 따르면 Azure 구독과 토큰당 비용 없음
• 제공사에 따르면 기기의 NPU, GPU, CPU를 자동으로 선택

자세히 사이트 보기 (새 탭에서 열림)

Gemma

오픈 모델

내려받아 내 기기에서 실행할 수 있는 Google DeepMind의 오픈 모델 제품군으로, Gemma 4는 Apache 2.0입니다.

• 모델 카드에 따르면 Gemma 4는 E2B, E4B, 12B, 26B A4B, 31B의 다섯 가지 크기
• Google에 따르면 E2B와 E4B는 휴대폰·노트북용, 12B 이상은 GPU와 워크스테이션용

자세히 사이트 보기 (새 탭에서 열림)

gpt-oss

오픈 모델

내려받아 쓰는 OpenAI의 오픈 언어 모델로, 데스크톱·노트북·데이터센터용이며 Apache 2.0입니다.

• 20B와 120B 크기, 자체 안전 규칙용 gpt-oss-safeguard도 제공
• 모델 카드에 따르면 gpt-oss-20b는 16GB 메모리, gpt-oss-120b는 80GB GPU 한 장에서 실행

자세히 사이트 보기 (새 탭에서 열림)

Jan

앱과 인터페이스

오픈 모델을 내 컴퓨터에서 바로 쓰는 무료 데스크톱 앱으로, 인터넷 없이도 사용할 수 있습니다.

• Windows, macOS, Linux 지원, Apache 2.0 오픈소스(라이선스 파일 기준)
• 개인정보 페이지에 따르면 대화 기록과 사용 로그는 기기에 남습니다

자세히 사이트 보기 (새 탭에서 열림)

Llama

오픈 모델

내려받아 쓰는 Meta의 오픈 모델 제품군으로, Llama 4는 조건이 있는 자체 커뮤니티 라이선스입니다.

• Meta에 따르면 Llama 4는 기본 멀티모달(텍스트·이미지)이며 전문가 혼합(MoE) 구조
• 라이선스에 따르면 이를 포함한 제품을 배포하면 라이선스를 첨부하고 “Built with Llama”를 표시

자세히 사이트 보기 (새 탭에서 열림)

llama.cpp

실행 환경과 서버

언어 모델을 내 컴퓨터에서 실행하는 오픈소스 소프트웨어로, Mac·Windows용 작은 앱이나 명령줄로 사용할 수 있습니다.

• 제공사에 따르면 무료·오픈소스이며 오프라인으로 사용 가능, Mac·Windows 11용 앱과 Linux용 명령줄
• 프로젝트에 따르면 CPU만으로 충분하며 GPU는 Metal, CUDA, Vulkan 등으로 활용합니다

자세히 사이트 보기 (새 탭에서 열림)

LM Studio

앱과 인터페이스

오픈소스 LLM을 로컬에서 실행하는 데스크톱 앱.

• 데스크톱에서 오픈소스 LLM을 로컬로 실행
• 로컬 에이전트 워크플로를 위한 Bionic Agent

자세히 사이트 보기 (새 탭에서 열림)

Mistral (오픈 모델)

오픈 모델

파리의 Mistral AI가 공개한 모델로 Ministral 3, Mistral Small 4 등을 내려받을 수 있으며 다수가 Apache 2.0입니다.

• Mistral에 따르면 Apache 2.0: Mistral Small 4와 Ministral 3 14B·8B·3B
• 모델 카드에 따르면 Ministral 3 14B는 24GB 그래픽 메모리에 들어감(FP8)

자세히 사이트 보기 (새 탭에서 열림)

Ollama

실행 환경과 서버

로컬에서 언어 모델을 실행하는 오픈소스 도구로, 개발자와 팀을 위한 유료 클라우드 서비스가 함께 제공됩니다.

• Llama, Gemma, Mistral, Phi 같은 언어 모델을 로컬에서 실행하는 오픈소스 도구
• 기존 앱과 쉽게 연동되는 OpenAI API 호환 REST API

자세히 사이트 보기 (새 탭에서 열림)

Open WebUI

앱과 인터페이스

로컬·외부 모델, 지식 소스, 도구, 팀 접근을 위한 셀프 호스팅 AI 인터페이스.

• 로컬·외부 모델용 셀프 호스팅 채팅 UI
• 지식 소스, 도구, 팀 접근을 한 번의 설치로

자세히 사이트 보기 (새 탭에서 열림)

Qwen (오픈 모델)

오픈 모델

Alibaba Qwen 팀이 공개한 다양한 크기의 모델로, 라이선스는 모델에 따라 Apache 2.0 또는 Qwen 라이선스입니다.

• 예: Qwen3.8-27B는 모델 페이지 기준 Apache 2.0
• 다른 모델은 자체 조건이 있는 Qwen Community License

자세히 사이트 보기 (새 탭에서 열림)

whisper.cpp

실행 환경과 서버

음성을 로컬에서 텍스트로 바꾸는 오픈소스 소프트웨어로, OpenAI의 음성 인식 모델 Whisper를 사용합니다.

• MIT 오픈소스, macOS, Linux, Windows 등 지원
• 프로젝트에 따르면 CPU만으로도 쓸 수 있으며 NVIDIA, AMD 등의 GPU를 지원합니다

자세히 사이트 보기 (새 탭에서 열림)