本地机上机内已经运行验手模型对话到了存的蓝点网在手可以考时候

iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa

WebLLM (网页版)：https://mlc.ai/web-llm/

Windows/Linux/Mac 需要使用 Conda 管理，对话即命令行版本
，模型内存并非关键 ，已经运行MLC 团队还推出了 Windows/Linux/Mac 的可手考验 CLI 版 ，限额 9000 人 ，机上有 iOS 开发经验的本地开发者可以自行编译安装
。基本上说内存起步需要 6GB，手机可以在终端里发起询问并获得答案，内存

现在该团队将 MLC LLM 移植到了手机上 ，蓝点

等等… 我是对话不是还没提 GPU 问题  ？是的，相对来说在 PC 上使用压力就小一些了，模型完全离线运行 
，已经运行在 PC 上用户可能需要更新驱动程序，可手考验手机上还好  ，机上具体请看：https://mlc.ai/mlc-llm/

本地一切数据都是离线的无需担心你的对话内容泄露 。

好消息是测试显示在 iPhone 14 Pro Max 上是可以正常运行的 ，iOS Demo 程序的话目前在 TF，毕竟现在新的安卓机内存都非常大。模型数据会被塞到内存里 ，因为模型运行的时候，因为无论是 iPhone 还是安卓还是 PC 都必须支持 GPU 加速，蓝点网测试感觉还可以，在网页上调用 WebGPU API 即使用你的本机 GPU 提供算力支持 ，还开发了 iOS Demo 应用，例如 Vulkan 驱动程序 。这么来看安卓机可能更有优势 ，坏消息是如果手机内存比较小的话会崩溃
 ，

除了 iOS 版外
，这个 AI 对话模型没有服务器支持，也就是说你可以在手机上运行大型语言模型 ，

在 iPhone 12 Pro 上测试就有些压力了，满了就没法加入了 。不论是模型还是数据都在本地 。中文支持也挺不错的。

早前蓝点网介绍了 MLC 团队推出的 WebLLM (MLC LLM)，毕竟内存稍微大点。这会让手机内存瞬间被塞满。速度略微有些慢但还是能接受的地步 ，

有兴趣的用户可以试试这个 AI 模型 ，