Deepseek已经火了个把月。


它的出现提升了普罗大众对于大模型的认可度,改变了大模型的行业格局,让豆包、Kimi等竞品有些黯然失色。对于下游终端而言,Deepseek的最大作用,或是加快了端侧AI落地应用的步伐。


在最近一段时间内,市场已经在给出“2025是端侧AI应用元年”之类的概念,而在此之前还在摇旗呐喊“2024是端侧AI元年”。概念的更迭在一定程度上显现出市场对新鲜事物的敏锐性,也同样反映了Deepseek对于端侧AI的推动作用。


那么,端侧AI如今的实际发展处于什么阶段?在应用落地过程中还有哪些需要解决的问题?



#

Vol.1/   什么是端侧AI



当前我们所熟知的Deepseek、ChatGPT、文心一言、通义千问及Kimi等语言大模型皆属于云端AI范畴。一般而言,云端AI从终端采集信息,再将信息通过网络传输到云中心侧进行后续处理,再输出到终端。所谓端侧AI,则是在终端设备上直接运行人工智能算法 ,让设备具备智能化处理和决策的能力。而终端设备则包括智能手机、电脑、智能家居、可穿戴设备等等,所以与AI结合后也衍生出了AI手机、AI PC、AI眼镜等概念。


由于可以在本地设备完成数据处理、分析与输出,少了上传云端这一环节,端侧AI的响应速度更快,可以离线使用,只要设备算力支持,基本上不会有“服务器繁忙,请稍后再试”的情况出现。


不过,此前将大模型“搬运”至终端设备往往遇到一个问题,那便是大语言模型内置参数多达百亿千亿,而PC、智能手机等设备的算力是有限的,还需要考虑内存容量、内存宽度及功耗等因素,所以端侧与AI的融合并不算好。我们日常使用的智能手机或电脑等设备,有时候就算多同时运行几个应用或者对设备配置要求比较高的游戏时,都会卡成“PPT”,更别提搭载大模型了。


就在从业者等着产业链上下游聚力进行系统级优化(硬件、算法、大模型之间的协同),抱着几年后才能实现端侧AI高效落地的想法时,Deepseek的横空出世给业界提供了解题思路。一方面,Deepseek蒸馏和量化出来的端侧模型最小参数规模为1.5B,可以与当前大多数智能手机、PC实现硬件无缝衔接;另一方面,通过优化模型架构,Deepseek的动态异构计算框架支持端侧芯片内多种计算单元的协同调度来解决硬件配置碎片化难题。


Deepseek的出现无疑为端侧AI的推进带来了诸多积极作用。”芯海科技向芯师爷表示,首先,端侧AI的发展是技术进步的必然趋势。随着人工智能技术的不断发展,越来越多的应用场景需要本地化的智能处理能力,以减少数据传输延迟、保护用户隐私并降低对云服务的依赖。


AI发展之路依然漫长,从云到端将会是一个新的发展趋势。”炬芯科技方面同样认为当下端侧AI的发展是大趋势,会给半导体市场需求提供增长动力,也同时参考传统计算在处理数据的演变历史,AI处理将是云端与终端结合的混合式。“混合式AI能实现A I的规模化扩展,并发挥其最大潜能。混合A I架构在云端和边缘终端之间分配并协调A I工作负载,所以预测混合AI应该会是AI的未来。”



#

Vol.2/   场景应用加速落地 企业基于AI定义芯片



在AI发展的过程当中,应用场景落地是最为关键的一步。


“AI降本之后,终端应用预计会有大的爆发,继续看好眼镜、玩具、AI手机、AI PC等消费电子。”一家国内消费电子配套芯片公司人士接受《科创板日报》采访时表示,尽管他们的产品在产业链几乎最上游,但还是能感受到DeepSeek为智能终端行业带来的积极影响。


或为抢占用户心智和提升产品卖点,苹果、谷歌、荣耀、VIVO等公司均在2024年加强了在端侧领域的投入。而在2025年的CES上,各大参展企业所展出的产品也都与AI强相关,如手机、手表。耳机、音响、机器人、厨具等,但凡产品存在人机交互的空间,厂商都在做相应的工作。


不过,此前受限于各种因素,端侧与AI之间的融合并不成功。


以AI眼镜为例,2024年发布的部分AI眼镜疑似翻车。据多家媒体报道,受制于续航、散热、价格高等因素,一些国产AI眼镜的市场表现未能达到企业预期。另外,也因AI眼镜所采用的SOC芯片与AI的匹配度有限,端侧AI的使用体感一般。


值得一提的是,了解到软硬件融合的重要性,苹果、英特尔、高通、AMD等多家芯片企业巨头已经根据当前AI发展的实际需要,推出了具备强大AI处理能力的芯片产品。例如苹果A18 Pro芯片则搭载了16核神经网络引擎,提供了强大的AI运算能力,相比前代产品有了显著提升,能够支持多种AI特性。 骁龙8至尊版搭载了高通自研的Hexagon NPU,性能相比前代提升了最高12倍,支持多种精度的AI运算,能够利用大型语言模型和动作模型,为端侧AI提供强大的支持。


除苹果、高通等海外芯片企业之外,国内有哪些芯片企业推出了基于端侧AI时代定义的芯片?


近几个月,国内的瑞芯微受益于端侧AI概念,在二级市场有着非常亮眼的表现,其市值一度超过800亿元。据了解,瑞芯微部署AloT多年,开发的旗舰产品RK3588 系列非常契合端侧AI的需要,集成了ARM四核Cortex-A76和四核Cortex-A55,内置6T算力的NPU。能够支持端侧主流的 0.5B~3B 参数级别的模型部署。根据东北证券研报数据,这款芯片系列已经用用于AR眼镜、平板电脑、新能源汽车等场景当中。


据了解,炬芯科技面向电池驱动的低功耗IoT领域成功落地了第一代基于模数混合电路实现的SRAM based CIM(Mixed-mode SRAM based CIM,简称MMSCIM)在500MHz时实现了0.1TOPS的算力,并且达成了6.4TOPS/W的能效比。2024年,炬芯科技发布了全新一代基于MMSCIM端侧AI音频芯片,共三个芯片系列:第一个系列是 ATS323X,面向低延迟私有无线音频领域;第二个系列是ATS286X,面向蓝牙AI音频领域;第三个系列是ATS362X,面向AI DSP领域。其中ATS323X有望最快在2025年上半年实现终端产品量产。


芯海科技同样跟随AI技术的发展,不断推出能够满足市场需求的产品。在端侧方面,芯海科技有集成了高精度ADC的传感器信号调理芯片、BMS芯片、压力触控芯片等。总体而言,在计算外围产品生态中,芯海科技实现了从EC到PD、HapticPad、USB HUB、BMS的全方位产品布局,同时也完成了从AI PC到台式机、工控机、边缘计算及服务器的全面覆盖。



#

Vol.3/   如何解决数据安全问题?



在端侧AI火热之时,还存在一个重要的隐患尚未解决——数据安全与隐私保护


进入信息时代和智能时代为人们的生活工作带来不少便利,但也存在不少副作用,隐私和信息泄露便是其中之一。据报道,近期一场规模巨大的物联网(IoT)安全漏洞事件曝光了27亿条包含敏感用户数据的信息,其中包括Wi-Fi网络名称、密码、IP地址和设备标识符,这存在非常大的数据风险,有可能被攻击者利用。据Palo Alto Networks的威胁报告,之所以会发生这样的事故,在于98%的物联网设备数据未加密,57%的设备高度脆弱。


随着迈入AI时代,原本尚未解决的数据安全和隐私保护问题正变得更加复杂,这其中涉及第三方大模型,手机终端厂商、大模型提供者和开发者等不同商业主体间的生态模式及责任边界尚不清晰。尽管端侧AI的概念当中,数据可以在本地设备处理,经过加密之后上传至云端,无需担忧个人隐私泄露的问题,较云端大模型更加安全。但实际上,端侧AI并没有办法从根本上解决问题。


从云端到端侧,每一个环节都可能成为数据泄露的薄弱环节。云端虽然拥有强大的数据处理能力,但一旦遭受攻击,海量用户数据将面临巨大风险。相比之下,端侧AI在数据安全方面具有天然优势,但仍需警惕硬件层面的潜在漏洞。”炬芯科技方面向芯师爷坦言。


主要归因于第三方App介入时的隐私保护边界模糊、无障碍权限的滥用、数据在端侧云端和第三方AI之间流动复杂等因素。”芯海科技方面也向芯师爷指出,端侧AI之所以无法再根本上杜绝信息泄露的情况。芯海科技方面称,以计算机系统为例。计算机系统由硬件单元、底层固件、操作系统、应用软件组成,其系统启动流程的每个环节,包括“硬件上电启动、底层固件执行、硬件配置完成、操作系统加载、应用软件执行”等流程,每一步都可能成为被替换攻击的目标,进而导致本地机密数据泄露。


对如何解决端云协同中的交互数据安全问题,阿里研究院人工智能治理中心主任傅宏宇曾撰文给出自己的思考,或可作为端侧AI背景下对数据安全保护的一个参考。


傅宏宇认为,首先需要建设云侧、端侧等执行环境的安全保障能力,采取协议承诺、技术管控等方式让用户对自身数据可控可管可审计,为用户进一步使用模型、与模型进行数据交互奠定信任基础。一是要保障用户数据处理环境的安全一致性。无论是端侧还是云侧,用户-模型交互处理的整体环境应当在数据安全保障级别上需要和用户私域等同,用户数据在各类执行环境中都受到同等的安全保护,例如对企业用户需高度关注企业商业秘密在传输、存储过程中的加密和防攻击,应用处理过程中的权限限制,对个人用户则要保障对其个人数据的控制权和安全性,保证对数据处理的知情同意。二是要保障用户对自身数据的高度可控性。严格遵守用户指令,以用户授权为前提,强化权限保护、数据可控性、可审计性,责任可追踪。通过授权和密钥控制,保障用户数据的私密性,对用户数据管控和滥用防控,让用户了解并控制各执行环境中的数据使用情况,避免超权限、超范围、超目的的数据访问,做到“操作可审计”。在发现事故后快速定位问题源头,区分是用户不当使用、系统漏洞还是外部攻击等行为所导致的安全风险,做到“责任可追溯”。


另外,对于个人信息和隐私保护,监管层也非常关切,出台了不少法律法规,可以在一定程度上约束部分企业在这方面的小心思。例如,《网络安全法》《数据安全法》《个人信息保护法》明确规定了处理个人信息的要求,包括知情同意规则,最小必要原则等;今年1月1日生效的《网络数据安全管理条例》进一步对涉及自动化工具、生成式人工智能等新兴技术的数据处理活动作出了特殊规定。


值得一提的是,除了大模型、APP、手机厂商等企业在设备、应用运行和数据处理过程中可能引发的数据安全问题外,一些非法的黑客攻击同样需要各方多加留意。去年12月,欧盟网络安全局(ENISA)发布《2024年联盟网络安全状况报告》,报告针对2023年7月至2024年6月期间欧盟的网络威胁进行了评估,结果显示,欧盟面临严重的网络威胁,遭受的网络攻击明显升级,攻击的种类、数量及后果均创新高。报告认为,未来网络攻击可能对重要实体造成严重破坏,尤其是拒绝服务(DDoS)和勒索软件攻击,勒索软件仍然是欧盟面临的最主要的威胁形式。


针对上述情况,2022 年以来欧盟委员会先后推出《网络安全条例》草案、第二版《网络与信息安全指令》、欧盟网络弹性法案(CRA)、欧盟无线电设备指令(RED)授权法案等,旨在促进成员国网络安全机制间的互联互通,支撑欧洲更多行业部门的基础设施应对快速变化和大规模的网络攻击安全威胁。


也就是说,芯片等硬件企业无法缺席这场对数据安全的保卫战。


数据安全是一场没有硝烟的战争,需要时刻保持警惕,不断创新。”炬芯科技方面向芯师爷表示,炬芯科技致力于通过前沿的芯片安全技术,如芯片安全信任根技术、高级加密标准(AES)等,为数据安全筑起铜墙铁壁。同时,积极拥抱PSA(Platform Security Architecture)认证体系,以国际认可的安全标准,不断提升产品的安全性能。


芯海科技也称,目前,“公司在数据安全保护方面采取的措施涵盖了数据加密、访问控制、安全审计、硬件架构设计和故障恢复机制等多个方面,为端侧AI的数据安全提供了有力的保障。”据了解,芯海科技在2024年推出的 CSCE2102 芯片(简称:E2102)便在固件安全方面做出了显著的创新提升。


#

Vol.4/   结语



在智能时代和AI时代,数据安全从来不是单个企业或单个组织能够完成的事业,这需要从技术、法律、生态和用户等多个维度构建坚固的数据安全防线,才从根本上降低端侧AI的数据泄露风险。


虽然,在过去的十数年间,数据安全的城墙并未完满砌成,个人隐私和数据泄露案例频发,但并不意味着这项事业在后续的AI时代可以懈怠。事实上,只有在这片安全的土地上,AI的花朵才能绽放得更加绚烂,人类的智慧才能在数字的天空中自由翱翔。


参考资料:

第一财经:《越聪明,越开放,越危险!如何让个人隐私不“裸奔”?》

21世纪经济报道:《当deepseek们走向端侧 用户数据安全成必答题丨端侧AI战事》

来源: 芯师爷 作者: