新闻资讯

当前位置:首页 > 新闻中心 > 公司新闻

    那么实时的视频渲染就是说明了高通 AI ENGINE 赋能的手机端人工智能有多么的黑科技了

    来源:www.dfsbp.com    发布于:2019-4-21 9:10:32    点击量:

    2019/04/22 08/24/02  【丹佛斯变频器 www.dfsbp.com】

      通话消噪也是人工智能可以发挥的舞台,虽然手机麦克风在硬件上可以定向拾音做到一定程度上的消噪,不过要是集合人工智能的功能的话就更好了。但是到了 2019 年,再说 AI 是噱头,那么反对者可以拿出的反驳证据都足够从清晨说到午夜。相比于传统的电容式指纹识别,屏下光电指纹识别的技术原理完全不同。

      在骁龙 855 的第四代 AI ENGINE 上,涉及到 AI 运算的地方主要包括 HEXAGON 690 处理器,ADRENO 640 GPU 和 KRYO 485 CPU。作为一款 2 年前发布的芯片,骁龙 660 至今还在发光发热,OPPO、VIVO 和小米等国内主流智能手机厂商使用这款次旗舰级处理器支撑了一代又一代主力出货机型。比如先拍照,后对焦。

      从高通 AI ENGINE 到手机使用场景,有一个我们最常用的 AI 应用案例:手机拍照自动识别场景,并针对场景做优化,让夜景更明亮,逆光不过曝,食物更诱人,自拍更好看… 这样的智能辅助拍摄算法一部分由手机厂商自己研发,更多则是软件开发商的研究成果,如国内的旷视科技和商汤科技,就针对手机拍照做了不少的研究,很多自拍的算法,也是来自虹软。

      。其实在骁龙 855 发布的时候,高通和合作伙伴大象声科就演示了在酒吧、体育馆、喷泉旁等人声鼎沸人海茫茫的地方的通话消噪功能。

      再看看上面那张高通 AI ENGINE 发散开来的 AI 生态系统,就会发现,在将来,AI 不光会是在手机里面会占有越来越重要的位置,随着 5G 的普及,联网设备会空前增加,天上飞的无人机,地上行驶的汽车,工厂里的机器人等等都将与 AI 产生不可分割的联系,AI 将无处不在。增加的 HTA (HEXAGON TENSOR ACCELERATOR,HEXAGON 张量加速器)则是高通专门面向 AI 处理器的硬件核心,可以自主管理硬件中神经网络计算单元,独立完成每一层神经网络的运算。

      在 NALBI 的演示视频里面,这位姑娘的头发颜色可以随心变换。以下是目前已有的清单:

      拍摄领域:ANYVISION、虹软、旷视科技、LOOM.AI、NALBI、泼辣、商汤科技、创通联达、UNCANNY VISION

      音频/翻译:有道、思必驰、大象声科、科大讯飞

      手势:ELLIPTIC LABS、QEEXO

      增强现实(AR)领域:网易、商汤科技

      汽车领域:COGENT EMBEDDED TECHNOLOGY、JUNGO、PATHPARTNER TECHNOLOGIES、纵目科技

      围绕高通的人工智能引擎 AI ENGINE,高通打造了一个强大的 AI 生态系统,在上面的 AI 软件合作之外,还有腾讯、百度、亚马逊、阿里巴巴这些的云服务提供商。不过有的时候,往往就是基础能力,得不到消费者的感知和了解。

      在离大众消费者最近的智能手机和移动互联网上也是如此,三年前有给智能手机厂商做广告的乙方找到我做问卷调研,对「要不要向消费者做 AI 宣传」十分犹豫。高通对 AI 投入研究的开端可以追溯到 2007 年,而关于人工智能处理架构的研究也早在 2013 年就开始了。

      如果说 NALBI 这个技术是对既往技术的优化,还不够突出人工智能的厉害的话,那么实时的视频渲染就是说明了高通 AI ENGINE 赋能的手机端人工智能有多么的黑科技了。

      在传统的处理方式中,指纹识别的数据处理都是通过 CPU 单核单线程完成的,不过在低温干手指、强光直射这类「刁钻场景」下,屏幕指纹识别所需的图像增强变频器维修和对比识别的处理过程相对复杂,对硬件性能的要求也更高,传统基于单核 CPU 运算的解决方式难以实现畅快的解锁体验。

      面向中高端的一代神 U 骁龙 660 则是高通 AI ENGINE 为更广泛的大众所用、所知的开端。他们一起,给包括智能手机在内的搭载骁龙平台的终端带来降噪、夜拍、超分辨率、人脸识别、语音识别、对象检测、视频分割、背景虚化等等各种 AI 功能。

      在很早之前,就有 LYTRO 这样的创业公司做了售价不菲的光场相机,提供了先拍照后对焦的功能,不过因为成本和体验原因,消费者并不买账。

      更关键的改变在 HEXAGON 690 数字信号处理器上,不光是性能强了,内核多了,并且,高通还将以往 DSP(数字信号处理器)需要处理的计算机视觉算法,放在了摄像头相关硬件模块(CV-ISP,计算机视觉影像信号处理器)上来处理,从而释放了 DSP 的一部分运算能力。

      图像处理是手机端人工智能的拿手好戏,这不意味着骁龙 855 和第四代 AI ENGINE 只能沉醉光影,不能听声辨位。

      比如 VIVO 在屏幕指纹技术的投入领先于友商们,这也意味着他们要先人一步地去解决各种各样的技术问题。面对这些需求,依靠单一硬件核心就捉襟见肘了。并且,高通第四代 AI ENGINE 有个重大提升:增加了两个 HVX(HEXAGON 向量加速器)和一个高通自主设计、面向 AI 处理的硬件核心 HTA(HEXAGON 张量加速器)。性能再强大,不能让消费者不能直观的感受到,都是纸上谈兵。

      高通 AI ENGINE 进化,和以往有何不同?

      说智能手机,就绕不过高通的骁龙芯片,现在说智能手机的 AI,也是绕不过高通的人工智能引擎(AI ENGINE)了。有了这个功能,哪怕是乔峰扛着录音机在身边打一套降龙十八掌也不会影响通话了。低温干手指和强光直射等环境是屏幕指纹识别中典型的难识别场景。这种场景下,就需要用到「补录机制」,不过这也意味着处理时间的增加。而这些软件开发商,几乎都是高通的 AI 生丹佛斯态系统合作伙伴。后来 VIVO 和高通就合作起来解决这个问题:由于 DSP 与单核 CPU 相比,在屏幕指纹识别的核心处理流程上具备数倍的神经网络和矢量计算的优势,利用 DSP 加速,不仅解锁速度快,而且还更安全。

      不过熟悉人工智能技术发展,尤其是神经网络技术演进的人就知道,神经网络算法的发展实在太快了,算法迭代以月计算,复杂度呈指数级增长,不同的应用和不同的行业,对神经网络性能也有着不同的需求。

      实际上除了「纵情声色」之外,在一些硬核技术上,高通的 AI ENGINE 还能起到锦上添花的作用。如今呢,在中高端手机发布会里面,可以不跑分,但是不能不讲 AI,于大众而言,大量的 AI 落地应用证明,AI 正从玄学变成显学。从支持《王者荣耀》高帧率模式,到带上 AIE 后缀与 VIVO 人工智能助手 JOVI 一起发布,骁龙 660 和 AI ENGINE 见证了移动游戏业的全民狂热,还有人工智能在手机上的落地应用。

      因而,异构运算就必须得出场了。

      到了现在,不光是手机摄影的影像传感器大了,像素高了,而且处理器的速度也更快,人工智能也能在手机本地处理复杂运算,这就使得如今的「先拍照后对焦」达到了真正可用的状态。

      CPU 和 GPU 很好理解,在骁龙 855 上也得到了各种升级,这里主要谈一下 AI 方面:与骁龙 845 相比,ADRENO 640 GPU 算术逻辑单元(ALU)有 50% 的提升,进一步加速更高精度神经网络的运行;全新 KRYO 485 CPU 中增加了点积指令,以进一步加速 AI 性能。

      在刚刚谈论到的这些之外,我们还能看到许多基于高通 AI ENGINE 的一系列应用:网易有道的实时 AR 翻译,商汤做出的实时视频渲染风格转换,旷视科技的 3D ANIMOJI 等等。

      然而,AI 从芯片到消费者之间的距离,物理上可能只有一层手机壳和一层主板,技术开发与融合到终端侧应用的落地,则需要全球化的协作。

      在其他的厂商宣传中,这个增加的 HTA 可能变频器维修被称为 NPU,或者神经网络引擎等等。

      虽然名字有点儿复杂,但是我们可以通俗地解释一下:采用多核异构可编程,增加两种加速器,高通第四代 AI ENGINE 就像会七十二变的哪吒,面对各种计算任务有很强的变通适应能力,并且还有三头六臂能够同时处理复杂任务,还能聪明地根据任务的性质,进行最高效的任务分配。如果有人在四五年前说 AI 对于消费者就是个玩笑,除了宣传上显得高大上在实用中几乎没用,想必还是能够获得不少的支持。相比于静态的图片,动态视频的渲染无疑要难得多,涉及到了人脸识别、对象侦测等等多种技术,这也证明了结合第四代 AI ENGINE,软件厂商可以在手机端做出更炫酷更适合大众用户的功能了。

      AI 有点难懂,但你可能已经离不开 AI 体验了

      对于大多数消费者来说,智能手机背后的处理器啊,引擎啊,异构运算都过于枯燥和难懂。

      其实,当我们拍照出现自动场景识别,屏下指纹识别用到了 DSP 加速,通话的时候有智能降噪的时候,就说明了,AI 其实开始成为一种基础能力了。

      NALBI 是一家从事计算机视觉的人工智能公司,借助于骁龙 855 上的第四代 AI ENGINE 可以完成一些以往难以在手机上实现的功能。首先,AI ENGINE 要支持主流操作系统,比如 ANDROID、WINDOWS 和 LINUX;还要对各种软件、工具以及各类框架的支持,比如 GOOGLE 的 TENSOR FLOW、CAFFE2 等等;然后就是我们相对熟悉的,硬件上需要支持手机、电脑、无人机、VR 眼镜等等;最后就是和各种软件开发商合作了,做出各种能利用 AI ENGINE 的预优化软件应用,让消费者最终能够上手使用。

      早在 2015 年,从骁龙 820 芯片开始,高通就开始在骁龙平台上集成了第一代人工智能引擎 AI ENGINE,不过这远远不是高通在 AI 领域的起点。后续也有手机厂商尝试了类似的功能,不过因为技术还不够成熟,体验也不够好。

      在骁龙 855 芯片上,高通将 AI ENG伟肯变频器INE 架构升级到了第四代,基于前几代的人工智能引擎 AI ENGINE 的理念,骁龙 855 移动平台集成的第四代 AI ENGINE 延续了骁龙的异构多核可编程架构,对每个内核进行进一步的优化

    20190422082402

相关阅读


版权所有: 上海丹佛斯变频器一级代理商 服务热线:13917851195 版权所有