35B大模型塞进手机本地跑：端侧AI，这次真的离普通人近了

11月10日，陆兮科技发布 LuxiInfer Android v1.0.0，用户可以在应用内下载配套模型，直接在手机本地运行。它支持 LuxiLLM-1.7B、Qwen3.5-0.8B、Qwen3.5-2B 以及 Qwen3.6-35B-A3B 等多个模型，当前适配搭载骁龙8 Elite Gen 5的安卓设备。官方给出的数据很硬：35B的MoE模型在16GiB内存的手机上，运行时峰值内存约5GiB，配套模型包约占10.9GB存储，纯文本生成速度达到14.179 token/s。这意味着，几十亿参数的大模型不联网也能在口袋里跑起来。

一、手机里跑大模型，难在哪

大模型之所以大多活在云端，是因为它太「重」。以Qwen3.6-35B-A3B为例，它是混合专家（MoE）架构，总参数350亿，但推理时实际激活的只有约30亿。即便如此，模型文件本身仍要完整加载到内存。若用FP16精度，35B模型光权重就要约70GB，普通设备根本装不下；即便量化到Q4_K_M约21GB，也得高端显卡才扛得住。

手机受限于内存、存储和散热，过去只能跑几个亿参数的小模型，体验停留在「简单问答」。要把35B这种级别的模型搬进手机，必须在资源占用上做足文章：低比特量化压缩权重、专家按需加载只唤醒用到的部分、动态缓存管理内存峰值。陆兮这套方案，正是靠这几招把峰值内存压到了约5GiB。

二、本地跑，到底图什么

端侧AI和云端AI最大的区别，是数据不离开设备。你问的私事、家里的账本、随手拍的文档，全在本地处理，不经过任何服务器，天然规避了隐私上传和泄露的风险。对网络不稳定的场景——地下车库、高铁、出国漫游——本地模型也不掉链子，不会因为断网就「变傻」。

更现实的一层是成本。云端大模型按调用量收费，用得越多越贵；本地模型一次性下载后，推理几乎不再产生额外费用。对开发者和小团队来说，这意味着可以把一个能离线工作的智能助理、文档助手、翻译工具直接装进App，而不必为每次API调用买单。生成速度14 token/s虽然比云端几百token/s慢，但写一段几百字的解答大约几十秒，已经能让人流畅对话，不再是「等到烦躁」的体验。

三、这事为什么现在能成

端侧推理的可用门槛，是被两股力量一起往下压的。一股是模型侧：以Qwen3.6-35B-A3B为代表的MoE模型，用「总参数大、激活参数小」的设计，让小设备也能跑大模型；开源社区也在不断放出更小、更省内存的版本。另一股是硬件侧：旗舰手机的内存已经普遍来到12GB、16GB甚至更高，加上芯片NPU算力的提升，给本地推理留出了空间。

从行业节奏看，端侧AI正在从「Demo演示」走向「能用的工具」。手机厂商、芯片公司和模型团队都在往这个方向靠拢：把翻译、摘要、修图、会议记录这类高频轻量任务放到本地，既保护隐私又省云端开销，还能在断网时兜底。陆兮这次把35B级别模型塞进手机，更像是给这条路线又添了一块路标。

四、和你有什么关系

端侧AI普及后，最直接的体感是：你的手机能离线当「私人助理」用，且不用为每次对话付费。出差没网时，本地模型照样帮你改文案、翻外语、总结长文档；你拍的私密照片、输入的病历和财务信息，不必上传到陌生服务器就能被处理。对注重隐私的人，这是比「更聪明的云端」更踏实的选项。

当然也要泼一盆现实的冷水：目前这类方案对手机硬件有门槛，主要适配最新旗舰芯片，老机型暂时用不上；10.9GB的模型包对存储不宽裕的手机也是个负担；复杂多模态任务本地仍跑不过云端。它更像「锦上添花的第一选择」，而不是「取代云端的唯一方案」。

五、门槛在哪，谁先用得上

需要说清楚的是，这次官方适配的是搭载骁龙8 Elite Gen 5的安卓设备，这类机型目前集中在各家的顶配旗舰，意味着老手机和多数中端机暂时还跑不动35B这种体量。16GiB的运行内存和10.9GB的模型包，本身就是两道硬件门槛：内存不够，模型加载时就会溢出；存储不够，光下载模型就要腾出可观空间。对普通用户来说，这不是「装上就能用」，而是「旗舰才够格」。

放在更大的坐标系里看，端侧AI的路线并不只有陆兮这一条。苹果在国行设备上推进的端侧智能、各大手机厂商自研的端侧小模型、以及把识别翻译修图等任务下沉到NPU，方向是一致的：让高频轻量任务不必事事上云。陆兮的特殊之处在于，它把「本地跑大模型」这件事的可用水准推到了35B级别，让手机不再只是跑小模型的玩具，而是能承载更完整推理能力的口袋终端。它的价值，更多体现在给开发者和极客一个验证路径，而真正进入大众日常，还要等硬件门槛进一步下探。