使用1Panel面板,快速部署百度千帆在线大模型、llama2本地大模型 问答系统

使用1Panel面板,快速部署百度千帆在线大模型、llama2本地大模型 问答系统

王忘杰
2024-06-25 / 0 评论 / 76 阅读 / 正在检测是否收录...

lxtuux5x.png

百度千帆在线大模型
lxtuv9yw.png

llama2本地大模型
lxtuvphs.png

一、申请百度千帆免费大模型
1、登录百度智能云控制台,开通免费大模型
https://console.bce.baidu.com/qianfan/ais/console/onlineService
模型服务-在线服务
lxtuwsbq.png

2、模型服务-应用接入-创建应用-获得API Key和Secret Key
lxtuxqqe.png

二、部署Ollama
1Panel面板应用商店
lxtuzvzv.png

端口允许外网访问
lxtv0ckc.png

安装完成,查看日志获取 key
lxtv1tsi.png

三、部署MaxKB
安装并允许外网访问
lxtv2iuf.png

四、添加大模型
1、百度千帆在线大模型
系统设置-模型设置-千帆大模型
lxtv3j3p.png

2、llama2本地大模型
系统设置-模型设置-Ollama
lxtv5fzk.png

注意,本文为快速演示,所以只使用最简单的llama2模型,支持8G内存运行,其他模型对配置要求高,需要GPU支持
lxtv643h.png

五、配置对话应用
1、创建应用
lxtv7trz.png

2、千帆大模型
lxtv890s.png

3、本地大模型
lxtv8ipg.png

六、使用
打开链接
lxtv96wh.png

使用正常
lxtv9rgc.png

七、总结
非常简单

0

评论

博主关闭了所有页面的评论