在現今的商業AI模型中，我們輸入的每一個查詢和洞察幾乎都會被收集起來，成為企業訓練數據的一部分。無論您是否付款獲得訪問權限，這已是公開的秘密。若您希望擺脫這樣的狀況，本文將介紹如何透過本地發布的AI來掌控一切。

透過本地發布AI，不僅可避免訂閱費用和雲端依賴，更無需面對企業監控。這意味著您可以在完全私人化的環境中操作AI，根據您的輸入學習並適應您的需求。DeepSeek的開放原始碼模型——DeepSeek-V3和DeepSeek-R1正是為此而設計。將這些模型本地發布後，您可以決定AI如何學習，同時保持數據的完全私密性。

經過全面測試，我們識別出三種高效的設定方案，能夠實現深度學習AI的本地發布。接下來，我們將介紹一些簡單的操作方法，讓這些模型為您提供最佳的使用效果。

💡DeepSeek R1在程式碼表現上尤為出色，並且對硬體需求較低。

自行架設專屬聊天機器人的最佳DeepSeek方案有哪些？

自訂的DeepSeek模型是基於基本模型的專門版本。DeepSeek建構於強大的Transformer架構之上，已具備生成類人類文本的卓越能力。而進一步的自訂將其轉化為您特定領域的專家——無論是客服支援、教育工具，還是專業研究。

透過DeepSeek的精簡模型，靈活性更進一步。這些精簡版模型大小有1.5B、7B、8B、14B、32B和70B，保留了令人印象深刻的推理能力，同時大幅降低了硬體需求。

這對您意味著什麼？

更小的模型（尤其是8B及以下）可以在標準的CPU、GPU或Apple Silicon電腦上順暢運行。無需昂貴的雲計算或專用硬體，您可以在個人電腦上發布並實驗這些強大的AI工具。

這些模型基於以下即將討論的傳證架構，即使在普通的配置下也能發揮卓越的性能。

如何選擇您所需的自訂設置？

不同的路徑並無優劣之分，而是滿足不同需求。在做出決定前，您可以問自己以下問題：

  1. 您是否要處理不宜在第三方服務器上處理的敏感資訊？
  2. 您是否有可用的強大硬件？
  3. 您是否需要在沒有網絡訪問的情況下使用AI助手？
  4. 是否重要的是避免訂閱費用？
  5. 多個團隊成員是否需要訪問同一助手？

接下來，我們將根據以下方面逐一探討每種設置：

  • 各模型的最佳使用案例
  • 發布範圍
  • 軟硬件要求
  • 優點

無代碼方法：使用CodeGPT快速指南託管自訂DeepSeek R1模型

CodeGPT提供了一種無代碼、雲端驅動的解決方案來運行DeepSeek R1，非常適合那些希望快速設置和共享訪問的團隊和非技術使用者。與GitHub Copilot不同，CodeGPT允許您在流行的IDE（例如VS Code、Cursor和JetBrains）中使用本地LLM（如DeepSeek R1）來進行提示生成、代碼補全、單元測試等。

這也是一個基於網絡的平台，提供AI代理來支持更廣泛的團隊任務。您只需創建一個免費帳號即可開始。

計算需求：

  • RAM：至少1GB（更大的模型需要更多內存）
  • 硬盤空間：至少20MB（本地模型需要更多空間）
  • CPU：Intel Core i5以上（不支持較舊的ARM）
  • macOS：除了Sonoma版外均支持
  • Linux：支持自2024年起的發布
  • Windows：11版或更高
  • IDE：VS Code 1.96.0以上
  • 不使用VLAN/VPN除非授權
  • CodeGPT需要上網

實施過程：

要在CodeGPT上運行DeepSeek R1，您可以執行以下步驟：

  • 步驟1：使用Google或GitHub註冊或登錄至codegpt.co，然後創建新的AI代理並選擇DeepSeek R1作為模型。

  • 步驟2：在“代理知識”部分上傳您的文檔或GitHub存儲庫，為代理提供數據。此步驟是為了建立您的私人知識庫。

  • 步驟3：在“指令”選項卡中設置系統提示，限制回答在您上傳的數據範圍內，並可選新增準確性和行為的規則。

  • 步驟4：測試代理的答覆以確保準確性，然後發布並通過公共鏈接或組織內分享。

  • 步驟5：定期在“代理歷史”面板中審核代理的性能，使用指標工具來提高準確性和效率。

注意：CodeGPT利用生成性AI的強大功能。但結果資訊可能並不總是正確的，因此需要您自行檢查其結果是否正確。

為何使用CodeGPT運行Custom DeepSeek R1模型？

  • 零技術知識需求
  • 簡易的文件管理
  • 內置分析和監控
  • 可向多人分享

基於代碼的方法：如何在LM Studio和Ollama上運行自訂DeepSeek R1模型

方法1：在LM Studio上運行自訂DeepSeek R1

為了完全的數據主權和離線的DeepSeek R1運行，LM Studio提供了一個強大的自助託管方案，儘管這需要一定的技術水平。LM Studio簡化了模型的發現、下載和本地運行，提供了兼容的API以實現無縫集成。它還支持函數調用以進行高級提示交互，並通過“高級配置”來允許模型的細粒度調整。

即便沒有高端硬件，您也能解鎖DeepSeek R1的核心功能。值得注意的是，DeepSeek R1的輸出包括描述性的“思考”階段，提供對其推理過程的洞察，這些階段可選擇顯示或隱藏。

計算需求

  • 最小16GB RAM（越多越好）
  • 硬盤空間：20GB以上
  • CPU：支持AVX2指令集
  • macOS：M1/M2/M3，Windows：x86或ARM，Linux：x86
  • 不需特定IDE
  • GPU：推薦使用以獲得最佳性能（例如NVIDIA RTX 3070）

實施過程：

  • 步驟1：從LM Studio的官方網站下載。然後運行安裝程式並按照螢幕上的說明完成安裝。

  • 步驟2：打開LM Studio並熟悉側邊欄標籤：“聊天”，“開發者”，“我的模型”和“發現”。

  • 步驟3：轉至“發現”選項卡（放大鏡圖標），搜尋“DeepSeek R1 精煉”模型，例如Qwen-7B或Llama 8B。

  • 步驟4：根據您的硬件選擇適當的量化版本。例如，Qwen-7B是一個很好的起始點。確保“GGUF”和“MLX”復選框均被選中以確保兼容。

  • 步驟5：點擊綠色的“下載”按鈕，等待完成。

  • 步驟6：轉至“聊天”標籤，點擊“選擇要加載的模型”，選擇下載的DeepSeek R1模型，並通過輸入您的提示開始與其交互。

注意：對於硬件有限的情況，建議從較小的模型入手。此外，使用LM Studio 0.3.7 Build 2以確保兼容，並利用Hugging Face的模型卡獲取詳細技術規範。

為何使用LM Studio運行DeepSeek R1？

  • 完全的數據隱私
  • 使用者友好
  • 離線運行，即便在飛行中
  • 無訂閱費用
  • 具備在不同模型間切換的能力

方法2：在Ollama上運行自訂DeepSeek R1

對於本地LLMs的運行，Ollama是廣受歡迎的選擇，特別是如果您熟悉命令行或者需要程式化控制。它支持多種AI模型，包括DeepSeek R1。

這些模型有多種尺寸（1.5b至70b）、量化格式（q4_K_M，q8_0），以及精煉版（qwen-distill，llama-distill）以平衡性能和資源使用。而且它是跨平台的，能夠在macOS、Windows和Linux上順利運行，設置非常簡單。

計算需求

  • RAM：至少8GB（處理更大模型時需要更多）
  • 硬盤空間：500GB以上，具體情況可根據模型版本而有所不同
  • CPU：Intel Core i5或更高
  • 軟體環境：
  • 作業系統：macOS，Linux和Windows。
  • IDE：VSCode版本1.96.0或更高
  • Node.js：版本20.0.0或更高。

實施過程：

步驟1：安裝Ollama

在運行DeepSeek R1之前，您需要在系統上安裝Ollama。

  • 對於macOS（使用Homebrew），輸入以下命令來安裝Ollama：

    brew install ollama

  • 對於Windows和Linux：請訪問Ollama的官方網站以獲取特定平台的安裝說明。

步驟2：下載DeepSeek R1模型

一旦Ollama安裝完成，下載DeepSeek R1模型：

ollama pull deepseek-r1

預設情況下，這會下載主要的DeepSeek R1模型（其較大）。如果您需要較小的版本，請通過指定大小的標籤進行：

ollama pull deepseek-r1:1.5b

這會獲取1.5B精煉版本，其針對性能進行了優化。其他例子包括：

ollama pull deepseek-r1:7b  
ollama pull deepseek-r1:14b-qwen-distill-q4_K_M  
ollama pull deepseek-r1:1.70b-llama-distill-fp16

步驟3：啟動Ollama服務器

為確保Ollama準備運行AI模型，請在新終端窗口中啟動其服務器：

ollama serve

步驟4：在本地運行DeepSeek R1

現在，可以直接從終端與模型進行互動：

ollama run deepseek-r1

對於特定的模型版本，請使用模型標籤（例如7B）：

ollama run deepseek-r1:7b

步驟5：向模型發送查詢

您現在可以開始向DeepSeek R1發送提示：

ollama run deepseek-r1:7b “Who is Condia?”

目前為止的步驟涉及直接透過命令行與DeepSeek R1互動。然而，Ollama還提供了API（應用程式編程接口）選項，而非直接輸入命令。

使用Ollama API

以下的步驟展示了如何使用curl命令與API進行交互，這是一種常見的發送網絡API請求的方式。

  • 例如，要從終端生成文本，請輸入：
curl http://localhost:11434/api/generate -d '{
“model”: “deepseek-r1:7b”,
“prompt”: “write a Python function that reverses a given string.”
}'

為何使用Ollama運行DeepSeek R1？

  • 簡單直接的命令設置
  • 所有運行均在您自己的機器上進行，確保數據的完全隱私
  • 根據需要輕鬆切換不同的AI模型

結語

了解生成性AI的長處和短處能夠幫助您建立有效的AI助手。定義您的目的，小單位測試實行，並不斷更新您的知識庫。此指南展示了如何輕鬆在本地運行DeepSeek R1模型，通過CodeGPT、LM Studio和Ollama進行運行。現在，您可以開始探索本地LLM的潛力。

自訂DeepSeek R1託管常見問題

Q: 誰擁有DeepSeek？

A: DeepSeek是一家位於中國杭州的私人AI公司，由梁文峰領導的High-Flyer資助。

Q: 我應該選擇哪款DeepSeek R1模型？

A: 若在強大硬件上獲得極致性能，請使用主要的DeepSeek R1模型。若在有限資源上追求更快結果，請選擇1.5B或14B這類精煉版。

Q: 這些自訂選項可以免費使用嗎？

A: Ollama和LM Studio是免費並開源的。DeepSeek R1的許可通常允許免費使用，包括商業應用。雲端服務的一些功能可能需收費。CodeGPT有受限制的免費帳戶可用。

Q: 我能在遠程伺服器或Docker中運行DeepSeek R1嗎？

A: 是的，您可以在Docker容器、雲虛擬機還是內部伺服器上運行DeepSeek R1，只要能安裝Ollama即可。

Q: 是否可能在手機上微調DeepSeek？

A: 直接在手機上進行微調通常是不切實際的，因為需要較高的計算能力。但是，您可以使用手機遠程訪問強大電腦或雲服務來進行微調。

Q: 這些模型適合商業使用嗎？

A: 是的，DeepSeek R1系列模型採用MIT許可證，Qwen精煉版為Apache 2.0。基於Llama的版本則有其自己的許可證。請根據您的特定用途驗證具體的許可證詳情。

Q: 運行DeepSeek R1模型需要什麼硬件？

A: 硬件需求因模型尺寸而異：1.5B模型可在標準PC上跑動，需8GB RAM。7-32B模型需要強大GPU（8-24GB VRAM）及32-64GB RAM。70B以上模型需多GPU設置，擁有高VRAM和128 GB以上RAM。