沙牛提示
閱讀本文需要6分鐘，建一套自己的AI助手！
如果你喜歡本文，就分享給你的小伙伴！
01 AI
隨著AI的日益普及，很多大廠都開放了自己的大語言模型。
本文就來告訴你，如何在本地，搭建一套隨時(shí)可用的AI問答系統(tǒng)。
02 Ollama
你只需要使用一款免費(fèi)開源的工具：Ollama。
Ollama是免費(fèi)開源的，支持多達(dá)近2000種大語言模型，包括阿里通義千問、Meta llama3、Google Gemma等等。
使用它，你只需要按照以下步驟進(jìn)行即可：
- 安裝Ollama
- 下載大語言模型
- 進(jìn)行問答
1. 安裝Ollama
你可以在Ollama的官網(wǎng) https://ollama.com/ 下載并安裝它，它支持Windows、MacOS和Linux等主流操作系統(tǒng)。
安裝之后，它會(huì)在后臺(tái)運(yùn)行，并默認(rèn)開機(jī)啟動(dòng)，方便我們隨時(shí)使用。
不過，目前Ollama并沒有提供圖形界面的客戶端，所以……你只能通過命令提示符使用它。
在Ollama安裝之后，打開命令提示符，輸入 ollama，如果收到這樣的提示，則證明安裝成功：
2. 下載大語言模型
本地安裝的Ollama，你可以理解為一個(gè)基礎(chǔ)平臺(tái)，現(xiàn)在，我們需要為這個(gè)基礎(chǔ)平臺(tái)，提供大語言模型的支持。
你可以在Ollama官網(wǎng)的 Models 頁面，查詢到所支持的大語言模型：
我們點(diǎn)開一個(gè)模型，比如Google Gemma：
其中：
- ① 代表模型的不同參數(shù)版本，B代表Billion，即十億，9B，代表90億參數(shù)。
- ② 你可以在這里選擇不同參數(shù)的版本。
- ③ 選擇版本后，復(fù)制命令。
然后，把復(fù)制的命令 ollama run gemma2:9b，粘貼到命令提示符中，便會(huì)開始下載并運(yùn)行該模型：
要查看已經(jīng)下載的模型，可以使用命令 ollama list ：
ps：這命令風(fēng)格真是跟Docker如出一轍。
3. 進(jìn)行問答
安裝模型后，我們就可以進(jìn)行問答了。不過，因?yàn)闆]有圖形界面，所以……你也只能在命令提示符這種上古神器中，來運(yùn)行先進(jìn)的人工智能……
運(yùn)行一個(gè)模型，可以使用命令 ollama run 模型名稱 ，如運(yùn)行阿里千問，命令則為 ollama run qwen2:7b
好了，現(xiàn)在，你可以進(jìn)行提問了：
03 弄個(gè)圖形界面
如果你愿意折騰的話，也可以為Ollama搭建一個(gè)開源的圖形界面， 如LobeChat、Open WebUI等等。
而我選擇的，是MaxKB，我把它部署在了自己的群暉nas上：
有了圖形界面之后，你便可以在整個(gè)局域網(wǎng)中使用Ollama，甚至，因?yàn)橛泄W(wǎng)IP的關(guān)系，我還把這個(gè)頁面放到了網(wǎng)上，無論在哪，都能使用自己家里運(yùn)行著的大語言模型。
04 在Obsidian中使用
你還可以在Obsidian中使用Ollama本地大語言模型，只需要安裝插件 Smart Second Brain 即可。
安裝并啟用后，配置一下插件：
然后，它會(huì)索引你的Obsidian資料庫。
但是，對于我包含了1200條筆記、180萬字的資料庫，再加上沒有獨(dú)顯的debuff加持，直接給了我一個(gè)這樣的時(shí)長提示：
不過，即便只是把它作為一個(gè)Obsidian中的AI問答工具，還能即時(shí)保存為筆記，也是挺不錯(cuò)的：
,
