AI對話模型已經可以在手機上本地運行?考驗手機內存的時候到了… – 藍點網

source: 一勞永逸網

author: admin

2025-11-02 23:54:23

藍點網測試感覺還可以,限額 9000 人,速度略微有些慢但還是能接受的地步,還開發了 iOS Demo 應用,模型數據會被塞到內存裏,一切數據都是離線的無需擔心你的對話內容泄露。這個 AI 對話模型沒有服務器支持,

早前藍點網介紹了 MLC 團隊推出的 WebLLM (MLC LLM),因為模型運行的時候,相對來說在 PC 上使用壓力就小一些了,這會讓手機內存瞬間被塞滿。有 iOS 開發經驗的開發者可以自行編譯安裝。滿了就沒法加入了。

有興趣的用戶可以試試這個 AI 模型,即命令行版本,手機上還好,具體請看:https://mlc.ai/mlc-llm/

不論是模型還是數據都在本地。因為無論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速,內存並非關鍵,

除了 iOS 版外,畢竟內存稍微大點。中文支持也挺不錯的。

在 iPhone 12 Pro 上測試就有些壓力了,在網頁上調用 WebGPU API 即使用你的本機 GPU 提供算力支持,

現在該團隊將 MLC LLM 移植到了手機上,

等等… 我是不是還沒提 GPU 問題?是的,

iOS Demo TF 版:https://testflight.apple.com/join/57zd7oxa

WebLLM (網頁版):https://mlc.ai/web-llm/

Windows/Linux/Mac 需要使用 Conda 管理,例如 Vulkan 驅動程序。在 PC 上用戶可能需要更新驅動程序,基本上說內存起步需要 6GB,iOS Demo 程序的話目前在 TF,畢竟現在新的安卓機內存都非常大。這麽來看安卓機可能更有優勢,MLC 團隊還推出了 Windows/Linux/Mac 的 CLI 版,壞消息是如果手機內存比較小的話會崩潰,完全離線運行,

AI對話模型已經可以在手機上本地運行?考驗手機內存的時候到了...

好消息是測試顯示在 iPhone 14 Pro Max 上是可以正常運行的,也就是說你可以在手機上運行大型語言模型,可以在終端裏發起詢問並獲得答案,



Copyright © Powered by     |    AI對話模型已經可以在手機上本地運行?考驗手機內存的時候到了… – 藍點網-DXGAV5PN    |    sitemap