本地部署AI知識(shí)庫(kù)
本地部署AI知識(shí)庫(kù)是指將AI技術(shù)應(yīng)用于知識(shí)庫(kù)的管理和查詢，并將整個(gè)系統(tǒng)部署在企業(yè)內(nèi)部的服務(wù)器上。其基本原理涉及多個(gè)步驟，包括加載文件、讀取文本、文本分割、文本向量化、問句向量化等。
更多小知識(shí)
明確需求與規(guī)劃
在本地部署AI知識(shí)庫(kù)之前，首先需要明確自身的需求。這包括確定知識(shí)庫(kù)的應(yīng)用場(chǎng)景（如智能客服、企業(yè)知識(shí)管理、個(gè)人學(xué)習(xí)等）、所需的數(shù)據(jù)規(guī)模、對(duì)響應(yīng)速度的要求以及預(yù)算等?；谶@些需求，可以制定一個(gè)初步的部署規(guī)劃，包括選擇合適的技術(shù)架構(gòu)、硬件設(shè)備和軟件工具等。
技術(shù)架構(gòu)選型
FastGPT
能力與優(yōu)勢(shì)：FastGPT是一個(gè)基于LLM大語言模型的知識(shí)庫(kù)問答系統(tǒng)，提供開箱即用的數(shù)據(jù)處理、模型調(diào)用等能力。它遵循Apache License 2.0開源協(xié)議，可以進(jìn)行二次開發(fā)和發(fā)布。針對(duì)客服問答場(chǎng)景設(shè)計(jì)了QA結(jié)構(gòu)，提高在大量數(shù)據(jù)場(chǎng)景中的問答準(zhǔn)確性。通過Flow模塊展示了從問題輸入到模型輸出的完整流程，便于調(diào)試和設(shè)計(jì)復(fù)雜流程。支持GPT、Claude、文心一言等多種LLM模型，未來也將支持自定義的向量模型。
部署過程：
服務(wù)器配置要求：服務(wù)器需要安裝好docker環(huán)境。
安裝Docker和docker-compose：通過命令安裝Docker和docker-compose，并驗(yàn)證安裝是否成功。
創(chuàng)建共用網(wǎng)絡(luò)：給docker中的容器創(chuàng)建一個(gè)共用網(wǎng)絡(luò)，如docker network create my-network。
安裝相關(guān)模型和組件：如安裝m3e矢量模型、one-api等，并配置相應(yīng)的環(huán)境變量。
安裝FastGpt：創(chuàng)建目錄并下載docker-compose.yml和config.json文件，修改其中的環(huán)境變量和配置，然后啟動(dòng)容器。
初始化Mongo副本集（如果需要）：查看mongo容器是否正常運(yùn)行，進(jìn)入容器連接數(shù)據(jù)庫(kù)并初始化副本集。
Ollama與Open WebUI
Ollama安裝與大模型下載：從Ollama官方地址下載軟件并安裝，安裝成功后可通過訪問特定鏈接判斷安裝是否成功。使用Ollama運(yùn)行本地大模型時(shí)，可在命令行中輸入命令，如ollama run [model name]，其中[model name]為想運(yùn)行的本地大模型的名稱。Ollama會(huì)自動(dòng)下載大模型到本地。
Open WebUI安裝與使用：Open WebUI是github上的一個(gè)開源項(xiàng)目，需要先安裝Docker，然后根據(jù)官方文檔下載和安裝Open WebUI。安裝完成后，訪問特定網(wǎng)址進(jìn)行登錄，即可與大模型進(jìn)行交互。
RAG技術(shù)應(yīng)用：RAG（Retrieval Augmented Generation）技術(shù)可以實(shí)現(xiàn)讓模型根據(jù)文檔內(nèi)容來回答問題。它涉及文檔加載、文本分割、存儲(chǔ)、檢索和輸出等步驟。例如，使用LangChAIn提供的文檔加載器加載文檔，文本分割器將文檔切分為指定大小的塊，將切分好的文檔塊進(jìn)行嵌入轉(zhuǎn)換成向量的形式并存儲(chǔ)到向量數(shù)據(jù)庫(kù)，通過檢索算法找到與輸入問題相似的嵌入片，最后將問題和檢索出來的嵌入片一起提交給LLM生成答案。
DeepSeek R1模型
API搭建方式：先下載Cherry Studio軟件并登錄/注冊(cè)「硅基流動(dòng)」，創(chuàng)建或復(fù)制API密鑰并配置到Cherry Studio中。在模型廣場(chǎng)首頁(yè)找到「硅基流動(dòng)」和「華為云」合作發(fā)布的DeepSeek R1/V3模型，添加R1模型并測(cè)試API是否可以正常訪問。再配置一個(gè)向量模型，如BAAI/bge-m3，在Cherry Studio創(chuàng)建知識(shí)庫(kù)并上傳本地文件進(jìn)行向量化，最后測(cè)試使用。
本地部署方式：從Ollama官方地址下載軟件并安裝，運(yùn)行需要安裝的DeepSeek R1模型（根據(jù)硬件選擇合適的模型參數(shù)）?？梢杂肅herry Studio作為本地R1模型的UI界面，配置并選擇本地部署的模型進(jìn)行測(cè)試和使用。
數(shù)據(jù)準(zhǔn)備與處理
數(shù)據(jù)收集：根據(jù)知識(shí)庫(kù)的應(yīng)用場(chǎng)景，收集相關(guān)的數(shù)據(jù)。這些數(shù)據(jù)可以來自企業(yè)內(nèi)部的知識(shí)文檔、外部的專業(yè)資料、用戶反饋等。
數(shù)據(jù)清洗與整理：對(duì)收集到的數(shù)據(jù)進(jìn)行清洗，去除重復(fù)、錯(cuò)誤或不相關(guān)的信息。然后按照一定的結(jié)構(gòu)和格式對(duì)數(shù)據(jù)進(jìn)行整理，以便后續(xù)的處理和使用。
數(shù)據(jù)向量化：將整理好的文本數(shù)據(jù)轉(zhuǎn)換成數(shù)值向量的形式，這是為了方便在向量數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)和檢索。可以使用文本嵌入模型（如BAAI/bge-m3等）來完成這一步驟。
知識(shí)庫(kù)構(gòu)建與測(cè)試
知識(shí)庫(kù)構(gòu)建：將處理好的數(shù)據(jù)導(dǎo)入到知識(shí)庫(kù)系統(tǒng)中，構(gòu)建知識(shí)庫(kù)的結(jié)構(gòu)和索引。知識(shí)庫(kù)系統(tǒng)可以是自己開發(fā)的，也可以是使用現(xiàn)有的開源或商業(yè)軟件。
功能測(cè)試：對(duì)知識(shí)庫(kù)的功能進(jìn)行測(cè)試，包括問答準(zhǔn)確性、響應(yīng)速度、穩(wěn)定性等方面。根據(jù)測(cè)試結(jié)果對(duì)知識(shí)庫(kù)進(jìn)行調(diào)整和優(yōu)化。
持續(xù)優(yōu)化與維護(hù)
定期更新數(shù)據(jù)：隨著業(yè)務(wù)的發(fā)展和知識(shí)的更新，需要定期向知識(shí)庫(kù)中添加新的數(shù)據(jù)，并刪除或更新過時(shí)或不準(zhǔn)確的數(shù)據(jù)。
監(jiān)控與調(diào)優(yōu)：對(duì)知識(shí)庫(kù)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)并解決問題。同時(shí)，根據(jù)使用情況對(duì)系統(tǒng)的性能進(jìn)行優(yōu)化，如調(diào)整模型參數(shù)、優(yōu)化數(shù)據(jù)庫(kù)查詢等。
更多小知識(shí)
最新文章
極光官方微信公眾號(hào)
關(guān)注我們，即時(shí)獲取最新極光資訊
