晚安的静谧小屋
主页
归档
链接
友链
站点罗盘
我的
动态
相册
游戏
关于
关于
技能
项目
我的设备
时间线
更多
分类
标签
GitHub 源码
晚安的静谧小屋
我们都很好,只是时间不凑巧
本地大模型部署系列
连载中 · 3 篇文章
归档
ETS2LA
1
使用指南
1
分享
1
开发
2
教程
19
美化
1
运维
1
本地大模型部署系列
连载中 · 3 篇文章
本地 GPU 部署与评测大模型的实战记录:推理服务、多卡硬件方案与量化模型测试。
第一篇
使用 Docker 部署 SGLang 并跑通本地模型。
第二篇
两张 4090 + PCIe 的 27B 模型部署全记录。
第三篇
Ternary-Bonsai-2-27B-PTQ1_0 性能测试报告。
01
使用docker部署 SGLang并在本地部署 Qwen3.5-35B-A3B
2026-03-15
02
两张 4090、一条 PCIe:本地部署 27B 大模型的全记录
2026-09-20
03
Ternary-Bonsai-2-27B-PTQ1_0 性能测试报告
2026-09-21