10月28-31日,深圳会展中心,瑞芯微电子股份有限公司(简称“瑞芯微”,展位1号馆1A23)亮相第二十届中国国际社会公共安全博览会暨全球数字城市产业博览会(以下简称“安博会”),以“低功耗+AI”为核心技术亮点,全方位展示了其覆盖从入门到高端、从传统智能到前沿大模型的端侧全场景AI视觉方案,重新定义智能视觉。


1.jpg

端侧AI协处理器RK182X:

赋能大模型在视觉应用端侧落地


端侧大模型展区,展出RK182X端侧AI算力协处理器及系列相关应用。RK182X具备大算力、高带宽特性,支持3B/7B大模型突破百token/s输出,可根据算力需求叠加一个或多个RK182X协处理器,为终端设备提供前所未有的算力灵活性,针对端侧AI复杂计算需求,特别是在多路视觉分析领域如智能安防、智能社区、智能校园等提供安全、可靠、低成本的AI部署选择。


2.jpg


基于RK3588+RK182X的离线端侧大模型部署,支持最高7B大模型部署,在端侧设备上可实现包括视频分析摘要、数字人、识图助手、多模态感知等热门功能:

1、基于RK182X的视频摘要和事件预警

  • 主要功能:使用RK3588 + RK1820在端侧实现多模态的视频理解

    RK3588负责视频场景切片,RK182X负责加速多模态模型推理,实现接近实时的处理性能。该方案可应用于多种场景,例如针对多路摄像头长时间监控的场景,可自动监看现场视频,生成简洁的视频文字摘要。同时支持任意定制的万能异常事件布控。

  • 方案优势:

    1)充分利用RK182X的20T算力和高带宽特性,实现接近实时且具备普适泛化能力的视频摘要 

    2)依托多模态模型的强泛化能力,支持灵活定义的万能异常事件布控,无需重新训练即可适配新场景。

    3.jpg


    4.jpg


2、基于RK182X的视频检索

  • 主要功能:通过Vision Embedding模型对视频进行预处理,提取视频片段的语义特征向量;用户提问时,将文本同样转换为特征向量,通过计算文本与视频向量间的余弦相似度,匹配并返回最相关的若干视频片段。

  • 方案优势:

    1)相比传统的CLIP类文搜图模型,本方案引入时序建模,充分考虑图像序列间的动态关系,采用高层语义表征替代传统结构化标签

  • 2)充分释放RK182X的端侧算力,实现原本仅高端服务器具备的视频语义检索能力5.jpg


此外,还展示了运行Qwen 2.5-7B大模型性能表现,首帧延迟控制在160毫秒左右,每秒可生成50+个Token(TPS),性能处于行业领先水平。



新一代机器视觉芯片RV1126B:

定义高端AI安防新标准


作为本次的重磅新品,瑞芯微新一代4K机器视觉芯片RV1126B备受关注。RV1126B具备3T强劲算力,可运行2B以内规模的大语言模型及多模态模型,针对算力、AI-ISP、AOV3.0、超级编码、防抖等性能均有明显升级。现场演示了多项引领行业的技术应用,赋能各类视觉设备实现从“看得见”到“看得懂”的质的飞跃:


6.jpg
  • 星光夜视AI-ISPRV1126B集成专用 AI-ISP 硬件,运行 AI-ISP时无需占用通用的3T NPU 资源,较传统 NPU 方案更节省带宽与功耗。结合 AI Remosaic 技术实现 "日夜双模自适应"—— 白天呈现超高清画质,夜晚在超低照度下仍保持清晰成像。

    7.jpg
  • 超低功耗AOV3.0:AOV3.0 技术融入低功耗音频事件唤醒功能,可实时检测狗吠、玻璃破碎、枪声等异常声源,设备待机功耗低至1mW左右,支持 7×24 小时全天候音视频监测

    8.jpg
  • AI防抖硬件级 6-DOF 数字防抖,精准识别并消除高频抖动,让运动图像更加流畅输出稳定流畅的视频流。

    9.jpg
  • 超感知红外热传感最大支持 16bit 数据输入,支持包括OCC(探测器像素偏置校正)、自动NUC(非均匀性校正)、去横竖条纹、3D及2D降噪、动态范围压缩等在内的多个功能拓展了安防的感知维度,实现了无光环境下的精准监测与更宽广、无死角的监控视野。

    10.jpg
  • 多目AI动态拼接:支持2x6M双目拼接及4x2M全录拼接,基于自研AVS多目拼接算法将多路输入图像拼接为一路,支持动态拼接,拼缝处流畅自然无割裂感,满足更大视野的需求,在安防、会议办公、体育赛事等场景广泛适用。

    11.jpg
  • 超级编码针对视频监控等数据密集型场景,RV1126B 集成智能编码引擎,支持 800万像素 45FPS 超高清编码,通过动态码率优化技术,较传统 CBR 模式节省 50% 码流,相同存储空间可提升一倍录制时长。在确保画面细节完整的同时,大幅降低存储成本与传输带宽压力。

    12.jpg


基于这些前沿视觉技术的深度融合, RV1126B目前广泛应用于高端AI网络摄像机、智能门禁、机器人、智能车载视觉等复杂场景,极大提升了终端产品的智能化水平和用户体验。


RV1106B:以低功耗革新多目IPC应用


针对电池供电或对功耗有严苛要求的场景,瑞芯微推出基于RV1106B的低功耗AOV 多目IPC解决方案。RV1106B内置0.5T NPU及AI-ISP,并搭载了丰富的视觉算法工具,为消费级安防摄像头、智能门铃、宠物看护等应用扩展AI功能及多目动态拼接能力。


13.jpg


RV1106B 核心优势在于极致的低功耗设计,采用第二代AOV(Always-On Vision)技术,在4MP@1FPS的待机侦测模式下,功耗低至28mW,达到行业领先水平,极大地延长了电池供电类设备的续航时间。


多样化消费类视觉应用落地,彰显技术普惠价值


在消费类视觉展区,瑞芯微芯片方案展现了强大的行业渗透力,涵盖工业、智慧校园、智慧家居、智慧办公等,从工业相机、宠物IPC、会议摄像头,婴儿看护到各类创新形态的智能IPC,内置丰富的AI功能,如人形跟踪、哭声检测、手势识别等。多样化的视觉终端成果印证了瑞芯微的技术正广泛应用于各行各业,实现了AI视觉技术的普惠与赋能。


14.jpg
15.jpg

随着边缘计算、多模态融合与低功耗AI技术的快速发展,智能视觉正从“感知智能”向“认知智能”加速演进。瑞芯微展示的新一代AI机器视觉解决方案,不仅精准契合了行业技术融合、场景细化的发展趋势,更通过端侧大模型等创新应用,为产业展现了“感知-分析-决策”一体化的发展路径。


我们期待与合作伙伴共同推进智能视觉技术在千行百业中的深度融合与规模化落地,让AI视觉真正成为数字经济时代的基础感知能力。

来源: 芯师爷 作者: