로컬 AI 뜻

다른 이름: 온디바이스 AI

로컬 AI는 클라우드가 아니라 내 컴퓨터나 서버에서 실행되는 AI입니다. 데이터가 기기 안에 머뭅니다.

예시

기밀 메모를 노트북에서 오프라인으로 실행되는 모델로 요약합니다.

오픈 웨이트 모델, 알맞은 소프트웨어, 충분한 메모리(가능하면 고성능 GPU)가 필요합니다. 작은 모델이나 양자화 모델은 일반 노트북에서도 돌아가지만 성능은 낮습니다.