llmfit

项目定位#

llmfit 是一款用 Rust 编写的跨平台命令行工具，旨在解决本地运行大语言模型时的硬件兼容性难题。它能自动检测用户的 CPU、GPU（支持 NVIDIA/AMD/Intel/Apple Silicon）和内存资源，对数据库中的 206 个模型进行多维评分，并推荐最佳的量化级别。

核心能力#

硬件检测#

• CPU: 通过 sysinfo 统计核心数
• RAM: 读取总内存和可用内存
• GPU 支持:
  • NVIDIA: 通过 nvidia-smi，支持多GPU配置
  • AMD: 通过 rocm-smi 检测
  • Intel Arc: 独立GPU通过sysfs，集成GPU通过lspci
  • Apple Silicon: 通过 system_profiler 检测统一内存
• 后端检测: 自动识别 CUDA/Metal/ROCm/SYCL 等加速后端

模型推荐系统#

• 模型数据库: 206个模型，57个提供商（Meta Llama, Mistral, Qwen, Google Gemma, Microsoft Phi, DeepSeek, xAI Grok 等）
• 动态量化选择: 从 Q8_0（最佳质量）到 Q2_K（最高压缩）
• MoE架构支持: 自动检测 Mixtral, DeepSeek-V2/V3 等模型

多维度评分系统（0-100分）#

• Quality: 参数量、模型家族声誉、量化惩罚
• Speed: 基于 K/params_b × quant_speed_multiplier 公式估算
• Fit: 内存利用效率（最佳区间50-80%）
• Context: 上下文窗口能力

适配级别#

• Perfect: 推荐内存满足GPU要求
• Good: 适合且有空间，MoE offload最佳选择
• Marginal: 紧凑适合，或纯CPU运行
• Too Tight: 硬件资源不足

交互模式#

• TUI模式: 交互式终端界面，支持搜索、排序、主题切换（6种内置主题）
• CLI模式: 纯命令行输出，便于脚本化
• JSON输出: 供 Agent 或其他程序调用

安装方式#

# 一键安装 (macOS / Linux)
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# Homebrew (macOS)
brew tap AlexsJones/llmfit
brew install llmfit

# Cargo (通用)
cargo install llmfit

常用命令#

llmfit                  # TUI 模式（默认）
llmfit --cli            # CLI 表格模式
llmfit fit --perfect -n 5  # 显示前5个完美适配模型
llmfit system           # 显示系统硬件信息
llmfit recommend --json # JSON格式推荐
llmfit search "llama 8b" # 搜索特定模型
llmfit --memory=24G     # 覆盖GPU内存检测

Ollama 集成#

• 自动检测本地 Ollama 实例（localhost:11434）
• 支持远程实例：OLLAMA_HOST="http://192.168.1.100:11434" llmfit
• TUI 中按 d 键一键拉取模型

速度估算常数#

支持的模型类别#

通用模型、编程模型（CodeLlama, StarCoder2, Qwen2.5-Coder）、推理模型（DeepSeek-R1, Orca-2）、多模态/视觉模型（Llama 3.2 Vision, Qwen2.5-VL）、聊天模型、嵌入模型