type
status
date
slug
summary
tags
category
icon
password
URL
如有修改或改动，关注文章底部留言！教程对你有用，可以 “点赞” 和 “打赏”支持 ~
该篇教程主要讲解Serge的安装和简单使用
Serge：基于llama.cpp运行Alpaca模型的聊天界面。完全自托管，不需要API密钥。适用于4GB的RAM，可在CPU上运行。
主要流程目录：1.安装2.使用3.总结
1.安装先创建一个容器
进入高级视图进行编辑
参考填写
添加其他参数
80088008
/usr/src/app/weights/mnt/user/appdata/serge/weights
/data/db/mnt/user/appdata/serge/db
2.使用测试设备：CPU：QTB0主板：ASRock Z490M-ITX/ac
内存：32G
启动后的界面
首先需要下载模型
提供模型还是很多的
每个模型后面都有标注“xxB”，根据自己设备配置下载模型（不建议下载30B的，回复速度太慢了，影响体验）。7B 需要大约4.5GB的可用RAM13B 需要大约12GB的可用RAM30B 需要大约20GB的可用RAM
这里我下载GPT4All（看大小应该需要内存不是太多）
这样就表示下载完成（不要点击，那个按钮是删除）返回home页面
这里可用选择模型和进行设置（不会设置，这里默认就行）
开始聊天
GPT4All：回复速度大概要20s左右
和chatgpt没法比，对中文理解很差，也不能回复中文内容
OAsst-LLaMA-13B：回复速度大概要30s左右可以回复中文，但是依然有些怪异，回答很简略，上下文理解不行Chat with Vicuna-7B：回复速度大概要20s左右
可以中文提问和回复，上下文理解还行，就是不太聪明
Chat with Alpaca-30B：太慢了，并且回复断断续续，以为回复完了等等又多几个字，不建议下载
3.总结个人部署体验玩玩还是不错的，如果想作为生产力工具就不建议了。先不说回复速度比较慢和需要内存大问题，就上下文理解和回答质量都是和ChatGPT没法比的。
资源占用情况回答问题时，CPU占用会比较多
待机时，内存占用会比较大
· END ·
参考链接：
https://serge.chat/
https://blog.csdn.net/wbsu2004/article/details/130235671
https://github.com/nsarrazin/serge
“ 你的赞赏是我更新的动力 ”
· 55折活动 ·
- 作者:Wilson Zeng
- 链接:https://blog.xib.icu/article/a5e2daf4-b0f0-42ed-895a-891bd62c4327
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
