GoForum🌐 V2EX

2026 大模型部署框架终极选型指南

suke119 · 2026-04-10 12:50 · 0 次点赞 · 2 条回复

懒人看板: https://i.imgur.com/Envny7q.png 总结: 云端高性能选 TensorRT-LLM ,云端灵活性选 vLLM ,Agent 场景选 SGLang ,Mac 用户闭眼选 oMLX ,本地试错选 Ollama ,手机端选 MLC LLM ,国产算力选 LMDeploy 。

2 条回复
Curtion · 2026-04-10 13:00
#1

这是哪个 ai 总结的哦,把 Ollama 放进去了,但既没有 LM Studio 也没有 llama.cpp, 到底按什么分类算的。

jetsung · 2026-04-10 13:00
#2

llama.cpp 呢?

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: suke119
发布: 2026-04-10
点赞: 0
回复: 0