小米语音识别系统通过端到端架构升级，采用Zipformer算法优化响应速度与准确率，实现流式识别与热词注入。GPU使用效率方面，实施动态Batch优化与半精度浮点推理优化，提升服务器容量并降低成本。最终，手机、音箱、电视等设备的句错率相对下降20%，IDC服务器容量提升100%

本文是小米大模型算法工程师黄武伟在2024AiCon上的演讲内容，主要探讨了端侧AI的重要性、LLM端侧部署面临的挑战以及相关技术探索。端侧AI具有可靠性、隐私安全、成本效益和个性化服务等优势，小米因自身端侧设备数量大且轻量化、本地部署是其大模型技术主力突破方向，故致力于端侧AI。LLM端侧部署存在计算能力、内存、功耗、带宽等方面的挑战，为此小米进行了剪枝、量化、投机推理等技术探索，以实现大模型的端侧部署落地