移动计算成像技术在行业内的内卷化愈演愈烈,这是不争的事实短短一年,华米OV通过相应的技术布局,再次刷新了大众对计算图像潜力的认知伴随着AI算法计算能力在移动成像领域的深入发展,各厂商计算成像技术的更新正朝着不同的方向演进
其中,从今年4月到11月,仅过去半年时间,vivo发起的移动影像战略举措不断升级发酵近期,自研芯片,计算成像等核心技术的密集引入,逐渐开始引起外界和业界的密切关注
两年发布三代自研ISP芯片
Vivo行业领导者
日前,在双核×影像技术沟通会上,vivo以一份技术白皮书再次展示了其在自研影像芯片领域的技术硬核根据消息显示,vivo的这款新一代自研ISP芯片V2是vivo针对AI高密度算法的计算能力需求而量身定制的低功耗AI加速芯片
此前手机厂商标榜的自研芯片,总是容易被外界和芯片公司开发的手机SoC平台混淆可是,伴随着计算图像逐渐被大众所熟知,专注于提升计算图像能力和算法优化的图像芯片被手机厂商从幕后推到了前台比如2021年,OPPO发布了自研图像NPU芯片Mariana X,小米推出ISP专业视频手机芯片澎湃同年的C1,华为海思发布的智能图像处理器芯片岳影ISP
但是,很少有科技公司会在一年之内就自研芯片的成像技术召开两次沟通会足以看出vivo一直宣称要在计算影像技术领域进行底层移动影像技术的研发,并不是一句空话
公开资料显示,从2021年8月首款自研定制图像芯片V1投入商用,到今年4月迭代产品V1+问世,短短半年时间,vivo已经进行了两次迭代升级,提升移动ISP的计算能力V1凭借低延迟,高能效的优势,提升移动ISP模块的高速成像计算能力,并加入实时黑光夜视功能,大幅提升手机的夜拍能力V1+引入双芯联动技术,不仅拓展了自研芯片的应用场景,进一步提升了夜景成像质量,也让手机拥有了媲美专业仪器的微光夜视仪效果,使计算图像达到全场景覆盖的新高度
V2芯片发布后,vivo成为业内唯一一家自主研发ISP芯片到第三代的手机厂商Vivo在性能和显示领域应用自研芯片,使vivo成为手机芯片技术的先行者,加速了自研芯片与手机硬件核心SoC平台的深度融合
相比于前两代在图像算法上对自研芯片的初步探索,V2是基于芯片底层技术和自研AI图像算法的计算能力,对V2片上存储器,AI计算和图像处理的全面升级它带来了全新的AI—ISP架构,FIT双核互联技术,以及高速低功耗的DLA和SRAM缓存单元三大技术创新
其中,将传统ISP架构升级为AI—ISP架构,从技术角度解决了传统ISP只能解决已知和特定问题,而无法处理复杂多变的场景图像分析的问题等于再次拓宽了计算图像的计算能力的场景,将ISP的计算能力提升到了一个新的阶段
虽然AI可以处理复杂未知的问题可是,当AI软件算法通常部署在NPU芯片上时,很容易导致ISP的线级流水线架构被破坏,从而导致延迟改善和性能下降可是,大多数SoC平台的片上内存有限,当大量AI算法连接到ISP流水线时,会造成运算和数据的分离,这将牺牲高性能AI运算至关重要的数据局部性要求,进一步降低性能
然后vivo在FIT双核互联技术赋能后,第一次把平台ISP—NPU和V2 ISP—DLA作为一个整体,设计出最合理的AI算法处理架构SoC平台上NPU的大计算能力和V2内存DLA的高能效低延迟在部署时进行了互补设计,形成了全新的双核AI—ISP镜像体验
也正是得益于自主研发的基于V2芯片的计算成像技术,今年vivo的计算成像能力得到了进一步提升,增加了4K超清夜视装置,多彩夜景视频,以及基于蔡司光学超摄算法的超清长焦,运动捕捉,暗光捕捉等功能。
以超清长焦为例,超清画质引擎从底层改写了ISP图像处理环节,图像处理流程面向AI好处是影响长焦摄影质量的三个重要模块降噪,细节恢复和去模糊可以加入到计算图像算法中,形成类似天文望远镜和高端显微镜的图像处理流程
这样,在蔡司光学超分算法的帮助下,我们可以根据手机各个模块的特点做建模分析,通过逆运算动态调整,补充光学信息,从而突破镜头技术上限,实现5倍以上焦距,最高提升拍摄分辨率35%,让5公里外的景物看起来像眼睛一样。
长焦拍摄过程中,变焦比越大抖动会越大是正常的此次vivo推出的Ultra Zoom EIS技术可以消除抖动对拍摄的影响通过IMU,OIS光学防抖,EIS电子防抖,vivo的常规图像拍摄可以在20倍以上的放大倍数下实现抖动消除,让被摄体在画面中趋于稳定,不会出现抖动即使用60倍长焦拍摄,预览画面依然很稳定,相机可以稳定的用手搬运
提高长焦拍摄的清晰度和稳定性,是vivo长焦能力的全面升级,也是作为AI—ISP架构的V2使能计算图像实力的最佳体现基于AI—ISP的架构也有可能成为vivo甚至为计算图像的未来拓宽一个新的发展方向,也让vivo在芯片领域完成又一次转型
进入行业双核时代,自研芯片或国产厂商是冲击高端的决定性因素。
事实上,选择扎根自研ISP芯片,为vivo在行业和全球市场的竞争奠定了技术基础那么为什么手机厂商从2021年开始热衷于开发ISP芯片,专注于计算图像呢这还得从产品和技术两个方面来谈
越来越多的手机厂商,包括vivo,已经看的很透彻了虽然手机的SoC平台是决定手机硬件综合性能的核心关键,但如果谁能使用强大的SoC平台,对于刺激市场购买力,提高手机性能差异化都将起到不可忽视的作用
因此,增加一个辅助的ISP独立芯片,提高手机硬件的图像处理能力,是安卓手机解决这个问题的最佳选择而且主流厂商的旗舰SoC平台都采用了内置的ISP模块,虽然性能足够优秀,但是算法调优的预留空间还是有限的,存在一些有限的技术问题对于手机厂商来说,使用自主自研的ISP芯片,既能释放内置ISP模块的潜力,又能给自己更多的算法调优空间,也是明智的最佳解决方案
值得一提的是,选择做独立自研的ISP芯片还有一个好处手机厂商可以结合自身的产品性能优势,让自主自研的ISP芯片和不同的SoC平台完成技术适配,让中低端机型也拥有高端机的性能体验,不同定位的机型性能处于最佳状态比如vivo在V1芯片技术成熟后,分配给iQOO系列,S系列等中端机型,在中端市场竞争中打造自己的核心竞争力
技术上的考虑自然归功于最近几年来计算图像的快速发展伴随着计算图像拥有不限于镜头模组的硬件参数,手机只有通过算法优化才能拍摄出优秀图像的优势逐渐凸显越来越多的手机厂商意识到,要想在未来的移动成像领域有所突破,对自研ISP芯片和自研成像算法进行持续的技术投入是必由之路
这从上半年各手机品牌推出的高端旗舰系列都是双核组合就可以看出来在自主自研ISP芯片被广泛使用的同时,无疑宣告了安卓手机全面进入双核时代同时也说明,当前计算图像的内卷已经愈演愈烈,甚至承载着安卓厂商向上冲击高端市场的期待和重任
至于vivo,凭借先发制人的优势,已经进入收获期根据市场研究机构科纳仕公司发布的2022年第三季度中国大陆智能手机市场报告,vivo以1410万部的出货量和20%的市场份额高居今年第三季度中国智能手机市场出货量榜首
分析人士表示,在行业可能长期处于震荡下行,存量竞争的市场形势下,寻求差异化产品的突破是必由之路此外,国产手机厂商的旗舰是否包含足够的产品竞争力,将是保持销量稳定增长,冲击高端市场成败的关键
据统计,vivo X80系列作为vivo的主力机型和全能旗舰,目前已经在3500以上价格段市场奠定了稳固的地位根据Counterpoint发布的2022年第二季度高端智能手机分析报告,vivo在今年第二季度以13%的份额成为中国第二高端手机市场,仅次于排名第一的苹果足以说明vivo的高端已经初见成效
诚然,深耕自研芯片给vivo带来了丰厚的收获在这次沟通会上可以看出,联合创新和自主创新是两个支点,打造底层核心竞争力将是vivo在移动图像进入双核时代后,贯穿未来的总方针
参与新一代旗舰SoC平台天机9200的联合研发就是最好的佐证据介绍,vivo在非常早期就参与了天机9200旗舰平台的研发通过双方20个月的紧密合作,带来了五大联合研发功能同时在技术上,vivo和联发科在多个细节上进行联合调整,帮助天机9200旗舰平台发挥极致性能
比如在游戏场景上,vivo通过快速启动引擎和网络加速引擎,多环节,全方位优化游戏体验,场景,首次以极低功耗实现先进的循环视差网络,大幅优化了天机9200的能效表现,降低能耗15%并且在4K 60帧极致视频场景下,天机9200的功耗比上一代降低了25%天机9200这些看得见的性能提升,都是vivo V2深度赋能天机9200的结果
总的来说,通过与专业芯片厂商不断联合研发,联合调整,打造深度定制,更具竞争力的元器件和完整产品,外界对即将发布的vivo X90系列有了更多期待此外,对内在深度自研芯片和自研算法上不断突破和创新,对外与蔡司共同开发和打磨全像链路,与业界进行深度合作,进行手机SoC芯片的深度培训,这也将让vivo根据自身优势在行业内构建自己的技术护城河
正如vivo产品副总裁黄桃在沟通会上所说,自研芯片是vivo的根本,自研技术是一条壁垒深厚,长期积累的发展道路。