直接在手机本地运行大语言模型!没想到这么快就实现了。 “MLC LLM 是一种通用解决方案,允许将任何语言模型本地部署在各种硬件后端和本地应用程序上,并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone,电脑支持Mac,Windows pc,Linux,还支持浏览器Web GPU。
直接在手机本地运行大语言模型!没想到这么快就实现了。 “MLC LLM 是一种通用解决方案,允许将任何语言模型本地部署在各种硬件后端和本地应用程序上,并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone,电脑支持Mac,Windows pc,Linux,还支持浏览器Web GPU。