人工智能正在引领新一轮变革，最近几年人工智能从科技行业开始，快速渗透到各行各业，我们的生活中已经充满了AI的气息。当前，全行业对人工智能技术的采用普遍使用云的方式落地，人工智能云服务AIaaS（AI as a Service）成为云服务商新的增长点。人工智能的深度学习算法已经比较成熟，如何提升效率成为关键。作为业界知名的云服务提供商，CDS首云软硬结合的AI云服务技术探索给出了方向。

一、AI云化是明确趋势，

软硬结合是关键

人工智能正在从技术探索转为大规模应用，人工智能已经成为基础设施，这就决定了AI云化是明确趋势。

首先是用户需求，对于企业来讲，必须不断增加竞争力深化数字化转型，人工智能成为必然的选择，从而带来大量需求。随着对云的深度使用，企业希望人工智能能够像云一样易用，好用，并且按量计费。

第二是云厂商的增长点，对于云厂商来讲，增强人工智能能力，为企业赋能，是新的增长点，这也是为什么许多云厂商给名字加上“智能”的原因。

第三是人工智能涉及硬件、软件，技术复杂，需要持续优化，只有云厂商有这方面的资源和技术实力。

如同IaaS的底层是虚拟化技术一样，AI云服务依赖深度神经网络的算法和软硬结合的算力。算法的实现依赖于软件，人工智能开源软件是趋势，而算力取决于软硬结合的能力。

二、开源、软硬结合是AI技术趋势，

OpenVINO?二者兼具

人工智能技术方面，一方面开源是主流，比如知名的TensorFlow、Caffe、MXNet、Kaldi等深度学习框架。另外一方面，算力非常重要，算力决定了人工智能应用的速度。所以人工智能的效果取决软硬结合。但是由于开源框架很多，对于用户来说，如果使用不同的深度学习框架，不同的硬件，需要一一进行优化，工作量繁重。

OpenVINO?工具套件的出现，解决了这一问题，OpenVINO?工具套件开源，支持主流深度学习框架，支持英特尔架构内不同硬件，提供统一接口，兼具了开源、软硬结合的趋势。

OpenVINO?工具套件介绍

OpenVINO?工具套件是英特尔基于自身现有的硬件平台开发的可以加快高性能计算和深度学习应用开发速度工具套件，是用于快速开发应用程序和解决方案，以解决各种任务（包括人类视觉模拟、自动语音识别、自然语言处理和推荐系统等）的综合工具套件。

该工具套件基于最新一代的人工神经网络，包括卷积神经网络(CNN)、递归网络和基于注意力的网络，可扩展跨英特尔硬件的计算机视觉和非视觉工作负载，从而最大限度地提高性能。它通过从边缘到云部署的高性能、人工智能和深度学习推理来为应用程序加速。

OpenVINO?工具套件优势

OpenVINO? 工具套件的有四大优势：支持基于卷积神经网络的深度学习推理；支持跨英特尔CPU、英特尔显卡、英特尔神经电脑棒和英特尔Movidius?视觉处理器运行；通过一套易用的计算机视觉功能库和预优化内核库来加速上市时间；针对计算机视觉标准进行优化的调用，包括OpenCV*和OpenCL?。

下图表显示了典型的 OpenVINO? 工作流程（单击可放大）

图 OpenVINO? 工作流程

英特尔OpenVINO?工具套件发行版包含以下主要组件：深度学习模型优化器：跨平台的命令行工具，用于导入模型并为推理引擎的优化执行准备模型。模型优化器会导入、转换、优化模型，这些模型在流行的框架中训练，比如Caffe、TensorFlow、MXNet、Kaldi和ONNX；深度学习推理引擎：统一的API，可在多种硬件类型上进行高性能推理；推理引擎样本：一套简单的控制台应用程序，展示了如何在应用程序中使用推理引擎；附加工具：一套模型协作的工具，包括准确度检查器实用程序、训练后优化工具指南、模型下载器等。

OpenVINO?工具套件开源，深受人工智能开发者喜爱，在Github上目前获得了1.9k的Star，787个Fork。

图 OpenVINO? Github界面

下面让我们来看看知名云服务商CDS首云，如何利用OpenVINO?提升AI云服务能力的案例。

三、CDS首云案例

技术解析

作为AI能力输出的关键环节，AI模型的部署和推理效率会对整体性能表现产生直接影响，CDS首云与英特尔一起，在其高性能K8S容器平台上导入了OpenVINO? Model Server，为 AI模型的快速部署及推理效率的提升助力。

目前这一全新方案已在CDS首云内部的AI应用场景中进行了初步部署和验证，实践结果表明基于OpenVINO? Model Server的新方案不仅在用户并发接入能力上远优于传统AI模型部署工具，同时在检测时延等关键性能指标上也有更为出色的表现。

首云AI云服务方案架构

AI云服务不能仅仅限于提供面向AI应用加速的硬件基础设施，一定要在其上部署能够高效分配、调度底层基础设施资源的云平台，以及能在这一云平台上为AI应用和模型提供完备运行环境的中间件或框架，云平台和AI运行环境的搭配越合理、协作越高效，AI云服务的整体表现就越出色。CDS首云打造AI云服务方案的过程，就秉承了这一原则，其架构如图所示：

图 CDS首云AI云服务方案架构在基础设施架构层，由英特尔提供的一系列先进计算、存储与网络产品，输出了强大的数据处理、存储与传输能力；K8S虚拟化层，则负责为底层架构提供节点管理和扩展服务，在将基础设施层的能力物尽其用的同时，也让方案拥有良好的可扩展性；方案提供的AI服务将通过容器，为上层的多样化应用场景输出AI能力。

基于这一架构，CDS首云的AI云服务能力既能通过解决方案的形式，为选择云平台或裸金属平台的用户提供附加本地服务能力，也能以服务API的形式，为用户提供远程AI能力输出。

OpenVINO? Model Server是方案核心

OpenVINO? Model Server是OpenVINO?工具套件的重要组件，OpenVINO?工具套件的作用是帮助用户实现模型优化和加速，以达到降本增效的目的，OpenVINO? Model Server则是基于和利用英特尔??架构基础设施提供的算力，来帮助CDS首云新方案大幅简化模型部署流程，从而能更高效、便捷地将AI模型部署到生产环境，并有效提升推理性能。

图OpenVINO? Model Server 架构

如图所示，OpenVINO? Model Server对外提供了gRPC和REST两种标准的网络API接口，供用户在不同场景下调用，不论用户是在本地，还是在远程启动AI工作任务，这些任务都将被接入到部署在容器内的OpenVINO? Model Server服务。

上述架构设计及工作流程，让OpenVINO? Model Server具备了以下四大AI云服务部署和应用优势：面向英特尔架构内不同类别硬件基础设施实施性能优化，这一优势可以让用户完成模型训练后，即可将模型部署于不同场景中实施快速推理，有效降低部署和运维成本；与K8S良好的集成，OpenVINO? Model Server能通过镜像方式便捷地实现模型快速部署、维护和扩展，并具有更优的横向可扩展性，便于为用户提供密集型计算托管服务；对常见的主流深度学习框架均有良好支持，可帮助用户在设计、部署AI方案时摆脱框架束缚，根据需求引入最优框架，增强AI服务能力；统一网络API访问能力，允许最终用户基于CDS首云的云平台或裸金属平台部署本地化的AI能力，也可以采用远端网络调用该能力。对gRPC和REST等不同API接口模式的支持，也使方案的可用性大为增强。

实战：助不良内容检测兼顾高性能和低成本

在全新AI云服务方案成形后，CDS首云启动了有针对性的实践验证工作，并优先选择内部应用需求较为迫切的不良内容检测场景作为“实验田”。

图 CDS首云AI不良内容检测流程

之前，CDS首云主要采用TensorFlow Serving服务框架等开源工具，来将深度学习模型部署到生产环境进行推理，但这一过程中，用户经常会面临以下几个方面的挑战：首先是模型在训练和推理的不同过程中，不论采用什么工具，性能和精度都可能存在差异，如果不进行适当调优，就无法更为充分地发挥出工作效能；其次是针对应用场景的变化，用户可能需要选择不同的深度学习框架；尤为重要的是，AI模型在不同架构硬件基础设施上构建的生产环境中，推理性能会有明显的差异，而方案使用者如果要针对每一种硬件环境进行重复且繁琐的配置和调试，势必会消耗大量时间，且会对工作效率造成负面影响。

所有这些问题，在CDS首云打造的全新AI云服务方案中均得到了妥善的解决。得益于OpenVINO? Model Server的部署和应用优势，新方案不仅能让用户获得高可用、易维护且一键部署AI应用的能力，在推理性能上也得到了明显的提升，同时还可帮助用户降低TCO。

图 CDS首云针对不良视频内容检测场景的验证测试结果

测试结果如图所示，使用OpenVINO? Model Server的方案在所支持的用户并发数量上远超对比组，相比采用TensorFlow Serving的方案提升了2.4倍，同时每个并发客户端的延时也控制在了30毫秒以内，意味着整个检测流程能够跟上视频播放的速度，达到了实时检测的效果。

未来，OpenVINO? Model Server方案带来的应用优势，也会在CDS首云全面走向公有云市场时转化成为竞争优势。接下来，除要在更多应用场景中进一步优化新方案的效能外，CDS首云还计划与英特尔一道，探索将基于 OpenVINO? Model Server的AI云服务与边缘计算融合的解决方案。这类方案可将AI云服务的应用范围进一步扩展到安防、自动检测、门禁系统等应用场景中，为用户提供更具多样化、差异化优势的云服务能力。

四、总结，OpenVINO?是AI云服务未来

演进方向

作为业界知名的云服务提供商，CDS首云及时捕捉到用户对于AI云服务的迫切需求，携手英特尔，使用OpenVINO? Model Server为用户打造更加高效、便捷和完善的AI云服务能力，增强了竞争力。

AI能力是云服务的新领地，OpenVINO?套件是构筑AI云服务的利器。基于OpenVINO?的云服务，可以支持英特尔架构内不同硬件，支持K8S，支持主流的开源深度学习框架，提供统一的API。相信基于OpenVINO?的AI云服务将是未来演进方向，用户选择这样的AI云服务，是对投入很好的保障。