[開源項目] 基於WebGPU的免安裝本地AI聊天機器人 (開發中) – 藍點網

而且可以保護隱私，不需要服務器支持、所以如果你的顯卡顯存比較小的話可能無法運行。有興趣的開發者可以參與該項目。一切都在瀏覽器內運行，所以顯卡性能至關重要，因為這個 AI 模型是 “你” 控製的，

項目地址：https://github.com/mlc-ai/web-llm

演示地址：https://mlc.ai/web-llm/#chat-demo

注：演示聊天使用的模型是 vicuna-7b-v0。

這個項目還在開發中，

這個項目可以大幅度簡化搭建 AI 聊天機器人的步驟，

早前穀歌在 Google Chrome Canary 版裏發布了 WebGPU 項目，顯存至少為 6.4GB， 顯存至少需要 6.4GB，該項目可以讓開發者基於瀏覽器調用本機顯卡算力。

必要條件：Google Chrome 113.0+、

所以在 GitHub 上有開源團隊構建了 Web-LLM 項目，你提交的數據不會被共享給開發者進行模型訓練。使用不同的模型顯存要求可能還會增加。

當然由於是相當於在本地運行的，不需要安裝、根據開源團隊說明，直接利用 WebGPU 特性運行。即基於 Web 的大型語言模型，