内容纲要
整个过程需要准备三个软件:
-
Ollama。用于运行本地大模型。如果使用闭源大模型的API,则不需要安装Ollama。 -
Docker。用于运行AnythingLLM。 -
AnythingLLM。知识库运行平台,提供知识库构建及运行的功能。
1 安装Ollama
-
下载Ollama(网址:https://ollama.com/download)
![](https://www.topcfd.cn/wp-content/uploads/2024/04/7c2744330b61794.png)
下载后直接安装,然后启动命令行窗口输入命令加载模型。命令可以通过点击官网Models后,搜索并选择所需要的模型后查看。
![](https://www.topcfd.cn/wp-content/uploads/2024/04/afadad193342ed5.png)
-
搜索框输入 qwen
![](https://www.topcfd.cn/wp-content/uploads/2024/04/00081ae6318b085.png)
-
选择模型后,拷贝对应的命令
![](https://www.topcfd.cn/wp-content/uploads/2024/04/11447f82d25c4ca.png)
注:Ollama支持加载运行GGUF格式的大模型,这个自行查看官网。
”
-
启动命令行窗口,拷贝命令并运行,若是第一次运行,Ollama会自动下载模型并启动模型。如本机上已安装了qwen:14b模型,则输入命令后会直接启动此模型。
![](https://www.topcfd.cn/wp-content/uploads/2024/04/e37aa0cfcfdc8e6.png)
至此,Ollama安装完毕。
2 安装Docker
Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的操作系统的机器上,从而实现虚拟化。
-
安装Docker Desktop(下载网址:https://www.docker.com/products/docker-desktop/)
![](https://www.topcfd.cn/wp-content/uploads/2024/04/d36b5c20e2e8095.png)
下载后直接双击安装即可,Docker的安装过程非常简单,没有什么参数需要设置,一路next即可。
3 安装AnythingLLM
AnythingLLM可以在Docker上安装。
-
启动Docker Desktop。第一次启动可能需要注册账号,也可以直接使用google、github账号登陆。 -
点击顶部的搜索框或输入快捷键 Ctrl + K
打开搜索窗口,输入anythingllm
进行搜索,如下图所示,点击 Pull 按钮拉取镜像
![](https://www.topcfd.cn/wp-content/uploads/2024/04/2f9743e37a896b5.png)
-
模型拉取完毕后,点击 Images 并在右侧的镜像列表中点击anythingllm后的 Run 按钮启动镜像
![](https://www.topcfd.cn/wp-content/uploads/2024/04/5a0a44fb76a1f30.png)
-
如下图所示,输入容器名称和端口号,这个可以随便输入,但不能和其他已有的容器名或端口号重复(如果有的话)
![](https://www.topcfd.cn/wp-content/uploads/2024/04/b08c1f94892aa1f.png)
-
镜像启动后可以点击如下图所示位置的链接,或者直接在浏览器中输入 localhost:3001
启动AnythingLLM
![](https://www.topcfd.cn/wp-content/uploads/2024/04/987736c2a0e68ee.png)
4 配置AnythingLLM
-
点击按钮 Get started 进入设置向导界面
![](https://www.topcfd.cn/wp-content/uploads/2024/04/ce1d4957b5a91d9.png)
-
选择大模型。如下图所示设置使用 Ollama
,然后设置参数 -
指定 Ollama Base URL
为 http://host.docker.internal:11434 -
指定 Chat Model Selection
为 qwen:14b -
指定 Token context window
为 4096
![](https://www.topcfd.cn/wp-content/uploads/2024/04/7c1a62c0c4954a3.png)
注:AnythingLLM支持使用闭源模型的API。
”
-
选择默认的 AnythingLLM Embedder
![](https://www.topcfd.cn/wp-content/uploads/2024/04/57374d770ca1cc2.png)
-
选择采用默认的 LanceDB
作为向量数据坑
![](https://www.topcfd.cn/wp-content/uploads/2024/04/bc2d78525163fb1.png)
-
如下图所示设置
![](https://www.topcfd.cn/wp-content/uploads/2024/04/8823edfc7c45d7e.png)
-
检查并确认前面的设置
![](https://www.topcfd.cn/wp-content/uploads/2024/04/489d3f83ef49d8a.png)
-
为工作空间指定名称,并进入下一步
![](https://www.topcfd.cn/wp-content/uploads/2024/04/fc2bf67c0dc06ae.png)
-
如下图所示,点击链接 upload a document
打开文档上传界面
![](https://www.topcfd.cn/wp-content/uploads/2024/04/9c7b2098bf7d20b.png)
-
文档上传界面如图所示
![](https://www.topcfd.cn/wp-content/uploads/2024/04/52294b2583baad0.png)
-
可以添加自己的文档,并将文档移入工作区
![](https://www.topcfd.cn/wp-content/uploads/2024/04/d9956ba008d2231.png)
-
文档移入后如下图所示
![](https://www.topcfd.cn/wp-content/uploads/2024/04/f99e522c7b5859b.png)
-
点击按钮 Save and Embed 处理文档
![](https://www.topcfd.cn/wp-content/uploads/2024/04/02170e9e5ca9031.png)
-
文档处理完毕后可以进行测试,如下图所示
![](https://www.topcfd.cn/wp-content/uploads/2024/04/f871aea639b0d9a.png)
5 知识库管理
-
可以点击左下角的设置按钮打开设置面板
![](https://www.topcfd.cn/wp-content/uploads/2024/04/0068cbbb57f39c5.png)
-
如下图所示可以设置语料分割参数
![](https://www.topcfd.cn/wp-content/uploads/2024/04/351725327b97833.png)
-
也可以点击左上角的按钮,如下图所示
![](https://www.topcfd.cn/wp-content/uploads/2024/04/f2eab509c2f8aa1.png)
-
其中第一个按钮打开的是文档管理对话框
![](https://www.topcfd.cn/wp-content/uploads/2024/04/d6689253a7febd4.png)
-
第二个按钮打开的是模型设置面板
![](https://www.topcfd.cn/wp-content/uploads/2024/04/942edb58b945842.png)
具体设置方法可以参阅文档。提高知识库性能的一些方法包括:
-
使用更强大的底座模型。底座模型用于数据的输入和输出。使用GPT4效果肯定要比使用小规模的开源模型。AnythingLLM支持以API方式调用如GPT4、Claude3、Gemini Pro等大模型。目前似乎还没有提供国内大模型的接口。 -
使用更好的Embedding模型。目前AnythingLLM内置了一个嵌入模型。其也支持调用如OpenAI、Ollama等提供的其他嵌入模型。 -
分词参数。用于分割数据。这个参数调整需要尝试。 -
使用更高效的向量库。 -
良好的原始数据。
6 关闭Docker
当不使用大模型时,为了节省资源,可以选择关闭容器。
-
点击 Containers ,点击关闭按钮可以关闭容器
![](https://www.topcfd.cn/wp-content/uploads/2024/04/796af2fe872fee6.png)
(完)
本篇文章来源于微信公众号: CFD之道
评论前必须登录!
注册