搭一个自己的知识库
你问 AI“出差打车能报销吗”,它不知道你们公司的规定,只能猜。你把制度文件整个贴给它,文件一多就塞不下,而且你也未必愿意贴。
本地知识库的做法是:先从你的文件里找出和问题最相关的几句,只把这几句交给模型,让它照着回答。 这个做法叫 RAG(检索增强生成)。整个过程都在你的电脑上。
先看它是怎么找到答案的。下面的资料、相似度分数和回答,都是用这一节的脚本在本机实际跑出来的:
报销制度.txt
休假规定.txt
门禁与访客.txt
1. 问题先变成一串数字(向量)。
学完你能做什么
- 说清知识库的四个步骤:切块、变成向量、找最相关的、交给模型
- 在自己电脑上跑通一个知识库
- 换成自己的文件来问
四个步骤
| 步骤 | 做什么 | 用到什么 |
|---|---|---|
| 1. 切块 | 把文件切成一小段一小段 | 脚本自己切,这里一行一块 |
| 2. 变成向量 | 每一块变成一串数字,意思越接近,数字越接近 | Ollama 的嵌入模型 embeddinggemma |
| 3. 找最相关的 | 问题也变成向量,和每一块比,挑最像的三块 | 余弦相似度 |
| 4. 交给模型 | 把这三块放进提示词,要求只根据它们回答 | deepseek-r1:8b |
Ollama 官方文档对向量的说明:向量可以存进向量数据库、用余弦相似度检索、用在 RAG 里;它的 /api/embed 接口返回的是单位长度的向量,所以两个向量直接相乘再相加,就是余弦相似度。
- 1?
- 2?
- 3?
- 4?
按先后顺序,一个一个点。
开始之前
- Ollama 在运行,已经下载了
deepseek-r1:8b - 装了 Python 3(脚本只用 Python 自带的库)
第 1 步:下载嵌入模型
ollama pull embeddinggemma你应该看到:最后一行是 success。我们这里它的大小是 621 MB。
ollama list里有embeddinggemma
第 2 步:准备资料和脚本
新建一个文件夹,里面放:
脚本的核心就是上面那四步:
# 2. 变成向量:一次把所有块交给嵌入模型
vectors = post("/api/embed", {"model": EMBED_MODEL, "input": [c["text"] for c in chunks]})["embeddings"]
# 3. 找最相关的块:问题也变成向量,和每一块比相似度
q = post("/api/embed", {"model": EMBED_MODEL, "input": question})["embeddings"][0]
scored = sorted(((sum(a * b for a, b in zip(q, v)), c) for v, c in zip(vectors, chunks)),
key=lambda x: x[0], reverse=True)[:3]
# 4. 交给模型回答:把找到的内容放进提示词,要求只根据它们回答
prompt = f"只根据下面的资料回答问题。资料里没有的,就说“资料里没有写”。\n\n资料:\n{context}\n\n问题:{question}"- 文件夹里有
kb.py和装着三个文件的docs/
第 3 步:问它
python3 kb.py "出差打车能报销吗?"你应该看到:先列出找到的三句和它们的相似度,再给出回答。我们实测:
[0.71] 报销制度.txt:差旅报销:出差期间的打车费可以报销,需要提供电子发票,并在行程结束后 30 天内提交。
[0.53] 报销制度.txt:餐费按每天 100 元的标准报销,超出部分自理。
[0.43] 报销制度.txt:住宿费按城市分档:一线城市每晚不超过 500 元,其他城市每晚不超过 350 元。
回答:可以报销。
根据资料,出差期间的打车费可以报销,需要提供电子发票,并在行程结束后 30 天内提交。分数和回答的措辞每次可能略有不同。
$python3 kb.py "工牌丢了怎么办?"
[0.72] 门禁与访客.txt:员工凭工牌刷卡进入办公区,工牌丢失要在当天告诉行政部补办,补办费 20 元。
- 我问了一个问题,看到了找到的句子和回答
第 4 步:问一个资料里没有的
python3 kb.py "公司几点上班?"我们实测的回答是:
资料里没有写公司几点上班。三个文件里确实没有上班时间。它找到的三句分数都不高,模型按提示词的要求说了“没写”,没有编一个时间出来。这正是知识库比直接问模型可靠的地方:答案有出处,没有出处时会说。
- 我看到了它对资料里没有的问题说“没写”
换成你自己的资料
把 docs/ 里的文件换成你自己的 .txt 文件就行。三点建议:
- 一句一行。 这个脚本按行切块,一行最好就是一条完整的信息。
- 资料变了要重跑。 脚本每次运行都会重新算所有句子的向量,资料多了会慢。真要用起来,可以把向量存下来,这是向量数据库做的事。
- 找不准时先看分数。 如果最相关的那句没排在前面,多半是那一行写得太散,拆短一些。
检查点
- 我能说出知识库的四个步骤
- 我在自己电脑上跑通了
kb.py - 我看到了它对资料里没有的问题如实说“没写”
常见误会
以为知识库是把文件“训练”进了模型。 没有。模型本身一点没变,每次只是把找到的几句临时放进提示词。资料改了,下一次提问就用新的。
以为找出来的一定对。 找的是“意思最像”的句子,不保证就是答案。所以脚本会把找到的句子和分数都打印出来,你能检查它依据的是什么。
课程结束
你现在有了一个跑在自己电脑上的 DeepSeek,和一个只用你自己文件的知识库。回到课程首页看看还有哪一节想复习。