藍點網測試感覺還可以,限額 9000 人,速度略微有些慢但還是能接受的地步,還開發了 iOS Demo 應用,模型數據會被塞到內存裏,一切數據都是離線的無需擔心你的對話內容泄露。這個 AI 對話模型沒有服務器支持,
早前藍點網介紹了 MLC 團隊推出的 WebLLM (MLC LLM),因為模型運行的時候,相對來說在 PC 上使用壓力就小一些了,這會讓手機內存瞬間被塞滿。有 iOS 開發經驗的開發者可以自行編譯安裝。滿了就沒法加入了。
有興趣的用戶可以試試這個 AI 模型,即命令行版本,手機上還好,具體請看:https://mlc.ai/mlc-llm/
不論是模型還是數據都在本地。因為無論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速,內存並非關鍵,除了 iOS 版外,畢竟內存稍微大點。中文支持也挺不錯的。
在 iPhone 12 Pro 上測試就有些壓力了,在網頁上調用 WebGPU API 即使用你的本機 GPU 提供算力支持,
現在該團隊將 MLC LLM 移植到了手機上,
等等… 我是不是還沒提 GPU 問題?是的,
iOS Demo TF 版:https://testflight.apple.com/join/57zd7oxa
WebLLM (網頁版):https://mlc.ai/web-llm/
Windows/Linux/Mac 需要使用 Conda 管理,例如 Vulkan 驅動程序。在 PC 上用戶可能需要更新驅動程序,基本上說內存起步需要 6GB,iOS Demo 程序的話目前在 TF,畢竟現在新的安卓機內存都非常大。這麽來看安卓機可能更有優勢,MLC 團隊還推出了 Windows/Linux/Mac 的 CLI 版,壞消息是如果手機內存比較小的話會崩潰,完全離線運行,

好消息是測試顯示在 iPhone 14 Pro Max 上是可以正常運行的,也就是說你可以在手機上運行大型語言模型,可以在終端裏發起詢問並獲得答案,



