百度千帆在线大模型
llama2本地大模型
一、申请百度千帆免费大模型
1、登录百度智能云控制台,开通免费大模型
https://console.bce.baidu.com/qianfan/ais/console/onlineService
模型服务-在线服务
2、模型服务-应用接入-创建应用-获得API Key和Secret Key
二、部署Ollama
1Panel面板应用商店
端口允许外网访问
安装完成,查看日志获取 key
三、部署MaxKB
安装并允许外网访问
四、添加大模型
1、百度千帆在线大模型
系统设置-模型设置-千帆大模型
2、llama2本地大模型
系统设置-模型设置-Ollama
注意,本文为快速演示,所以只使用最简单的llama2模型,支持8G内存运行,其他模型对配置要求高,需要GPU支持
五、配置对话应用
1、创建应用
2、千帆大模型
3、本地大模型
六、使用
打开链接
使用正常
七、总结
非常简单
评论