llmfit 쓰는 법

핵심 요약 (TL;DR)

AlexsJones/llmfit은 내 PC의 CPU·RAM·GPU·VRAM을 읽고, 그 위에 편안하게 돌아갈 오픈소스 LLM(양자화 포함)을 추천해 주는 Rust CLI/TUI다. 로컬 모델을 “스펙표만 보고 짐작”하지 말고, 한 명령으로 fit·속도·품질·컨텍스트를 점수 매겨 보고 싶을 때 쓴다.

기본은 대화형 TUI(llmfit). 스크립트·에이전트면 llmfit recommend --json, 노드 API면 llmfit serve. 이 글은 README·CLI 문서에 적힌 설치·첫 실행·자주 쓰는 플래그만 따라간다. VRAM 숫자나 모델 개수는 문서에 없으면 추정하지 않는다.

배경 및 맥락

로컬 LLM 쇼핑은 늘 같은 질문으로 시작한다. “이 RAM에 7B Q4가 되나?”, “통합 메모리면 어디까지?”, “CUDA·MLX·llama.cpp 중 뭐가 맞지?”. 카드마다 양자화·컨텍스트·활성 파라미터가 달라서, 표만 보고 고르면 나중에 OOM이거나 너무 느린 모델을 받는다.

llmfit은 하드웨어를 자동 감지한 뒤 카탈로그의 모델을 메모리 fit·추정 속도·품질·컨텍스트 네 축으로 점수화한다. 양자화 포맷은 README 기준 GGUF·AWQ·GPTQ·EXL2. 가속기는 NVIDIA CUDA, Apple Silicon, AMD ROCm, Intel OneAPI를 문서에 명시한다. 로컬 런타임 쪽은 Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio를 지원한다고 적혀 있다.

TWMS GitHub Daily 2026-09-10 톱10에서 6위로 올라왔고, 이 검색 가이드는 그 도구를 실제로 켜 보는 쪽이다.

이걸로 할 수 있는 일

• 하드웨어에 맞는 모델 고르기 — TUI에서 fit·추정 tok/s·양자화·실행 모드를 한눈에 본다.
• 스크립트/에이전트용 JSON — recommend --json으로 상위 추천만 받는다.
• REST API·웹 UI — serve로 /api/v1/system, /api/v1/models 등을 연다. 오케스트레이터·대시보드 연동용.
• 다른 머신 시뮬레이션 — TUI의 S 또는 CLI --memory/--ram/--profile로 “그 박스라면”을 본다.
• 실측 벤치·공유 — llmfit bench, 필요하면 --share로 커뮤니티 결과 PR(문서 기준, gh CLI 불필요).

모델 서빙 자체는 형제 도구 llmserve 쪽이 본체에 가깝다. llmfit은 “뭐가 맞는지” 쪽에 가깝다.

필요한 것

아래는 README Install / Container / Platform 문구만 정리했다. 버전 핀은 “최신 릴리스 바이너리”를 받는 경로가 기본이라, 글을 쓰는 시점의 GitHub Releases 최신은 v1.1.15(2026-09-10)다.

문서에 적힌 OS 범위: macOS(Apple Silicon & Intel), Linux(x86_64 & ARM64), Windows(x86_64). 라이선스는 MIT.

단계: 설치

OS에 맞는 한 줄만 고르면 된다. Homebrew 탭 경로가 README에 “recommended, works on all macOS/Linux versions”로 적혀 있다.

# Windows
scoop install llmfit

# macOS / Linux — Homebrew 탭(권장)
brew install AlexsJones/llmfit/llmfit

# 또는 빠른 바이너리 설치
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# uv로 도구처럼
uv tool install -U llmfit

컨테이너만 쓸 때:

# 기본: recommend JSON
docker run ghcr.io/alexsjones/llmfit

# 대화형 TUI
docker run -it --rm ghcr.io/alexsjones/llmfit --tui

# 코딩 유스케이스만 jq로
podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'

단계: 첫 실행 (TUI)

llmfit

플래그 없이 실행하면 인터랙티브 TUI다. 상단에 감지된 스펙, 아래에 fit·속도·품질·컨텍스트 점수가 매겨진 모델 표가 온다. 문서에 있는 자주 쓰는 키만 적는다.

TUI를 띄우면 기본으로 웹 대시보드도 0.0.0.0:8787에 뜬다(문서). 끄려면 llmfit --no-dashboard.

단계: JSON · serve API

에이전트·자동화는 JSON이 편하다. README와 docs/cli.md에 나온 복붙용 명령이다.

# 하드웨어 + 추천을 JSON으로
llmfit recommend --json

# 상위 N개 · 유스케이스 필터
llmfit recommend --json --limit 5
llmfit recommend --json --use-case coding --limit 3

# fit 표 / 시스템 / 진단
llmfit fit
llmfit system
llmfit doctor

# 한 모델 상세
llmfit info "Mistral-7B"

# REST API + 웹 UI
llmfit serve --host 0.0.0.0 --port 8787

Docker로 상시 띄울 때(README Compose 예와 동일 계열):

docker run -d -p 8787:8787 ghcr.io/alexsjones/llmfit serve

문서에 나온 엔드포인트 예:

curl http://localhost:8787/health
curl http://localhost:8787/api/v1/system
curl "http://localhost:8787/api/v1/models?min_fit=marginal&runtime=llamacpp&sort=score&limit=20"
curl "http://localhost:8787/api/v1/models/top?limit=5&min_fit=good&use_case=coding"

use_case 값은 docs/cli.md 기준 general|coding|reasoning|chat|multimodal|embedding.

단계: 벤치 (선택)

# 실행 중인 프로바이더에 대해 실측
llmfit bench

# 전부 + 커뮤니티 PR로 공유(확인 프롬프트 있음)
llmfit bench --all --share

# 네트워크 없이 페이로드만 미리보기
llmfit bench --all --share --dry-run

성공한 벤치는 로컬에 먼저 저장된다(Linux 기본: ~/.local/share/llmfit/benchmarks/pending/). 공유는 사용자가 요청한 기능일 때만 외부로 나간다 — README Code signing / Privacy 절과 같은 톤이다.

막히는 지점 / 표

실사용자 반응

여기도 지어내지 않는다. 확인 가능한 메타만 적는다.

• GitHub 별 ≈ 36,085, 포크 ≈ 2,282 (조회 시점).
• 최신 릴리스 v1.1.15 (2026-09-10). 커뮤니티 벤치 PR이 릴리스 노트에 꾸준히 합쳐진다.
• Windows 바이너리는 SignPath.io / SignPath Foundation 경로로 Authenticode 서명(README).
• 토픽 태그: gguf, llm, localai, mlx 등.
• “쉽다/어렵다” 후기는 공식 README에 인용된 사용자 코멘트가 없어서 만들지 않는다. 벤치 숫자는 본인 머신에서 bench로 재는 쪽이 문서의 권장 흐름이다.

의미와 시사점

로컬 AI 가이드가 보통 “이 모델 설치법”이라면, llmfit은 그 앞단 — 내 하드웨어에 무엇을 올릴지 — 를 자동화한다. 추정 tok/s도 info에서 근거를 보여 주고, 커뮤니티 실측이 쌓이면 같은 스펙의 다음 사용자에게 measured ✓가 전달된다. 에이전트 하네스에 JSON/API를 붙이기 쉬운 점도 개발자 도구로서의 위치다.

마치며

설치는 OS에 맞는 한 줄, 첫 화면은 llmfit, 스크립트는 recommend --json, 노드면 serve --port 8787. 막히면 doctor와 하드웨어 오버라이드부터. VRAM·모델 개수·벤치 숫자는 README에 없는 값을 추정하지 말고, 내 머신에서 한 번 재면 된다. 오늘은 그 명령만 복사하면 된다.

출처

• GitHub — AlexsJones/llmfit
• README (Install · Usage · Code signing)
• docs/cli.md — CLI & Automation
• docs/tui.md — TUI Guide
• Releases — v1.1.15
• docs/benchmarking.md

이 글은 AI가 작성하여 자동 발행된 콘텐츠입니다.