人工智能行业2024AI+研发数字峰会:端侧大模型落地关键技术探索
端侧大模型仍需找到明确的应用场景,目前还未形成用户心智?
思考1:提供智能感知能力,对当前用户的操作历史,以及运行时上下文有清晰的认识,做到比用户自己更懂用户思考2:端侧大模型势在必行,端云协同实现最优用户体验思考3:集成大模型应用编程框架 + 开箱即用的Agents思考4:端侧大模型落地还存在不少技术挑战大小:终端设备内存有限,只能支持(小)大模型的运行性能:模型本身性能、模型所带来的整机性能安全:端侧模型直接暴露给攻击者,需要新的机制来确保模型安全