视频大数据与物联网（IoT）融合发展的探索

佳都新太科技有限公司 刘弘胤

1、视频大数据与物联网（IoT）发展的现状

随着智能城市的广泛建设，全国视频访问规模的快速增长和视频监控对高清、智能和互联网的要求越来越高，每天产生的数据量以惊人的速度增长。自2016年以来，随着人脸识别、视频结构化等技术的成熟和不断优化，视频监控正进入一个新的大数据时代，数据已成为最宝贵的资源，如何有效地存储、共享和应用数据变得越来越重要。

视频监控应用的核心是视频内容的搜索和解释，其目标包括视频中的人、车的属性和行为，以及各种相关的物联网IoT但由于视频容量大，分布面积广，对视频内容的提取和解读一直是困扰一线用户的难题。利用视频结构化、视频智能分析、云计算、大数据等先进技术，从视频中提取人、车、物的结构化信息，在此基础上进行深度应用，将传统视频转化为分析判断数据，是智慧城市建设中视频监控应用的新模式。

随着5G物联网的建设也进入了实质性的应用阶段。在智能城市领域，物联网以视频图像为核心IoT以视频记录图像信息和物联网为辅助的多维数据感知系统IoT设备收集城市运行各种场景的关键数据，相互融合，相互补充，形成对城市运行状态的全球感知和全息描述，以更好的支撑城市的运行与治理。

从各地实际落地情况来看，视频大数据与物联网IoT融合是大势所趋。这种融合有两个特点。一是通过近年来安全城市和雪亮工程的建设，网络融合通常已经建成了城市视频网络，各种视频监控设施集中部署在视频网络中。随着设施的升级和新建，各种感知设备不断加入，如人脸门禁、停车场门、各种环境传感器（温度、湿度、噪声、水位等）。城市视频网络实际上已成为城市物联网感知网络，承载了大量的视频大数据和物联网感知数据；二是管理整合，以便更好地管理和运维，城市物联网通常由局委会办公室领导或专门机构（如智能城市运营中心）统一管理和运营，为组织结构的后续应用奠定了良好的基础。总的来说，视频大数据和物联网IoT整合具有良好的应用和发展基础。

2、视频大数据与物联网（IoT）整合发展的机遇

从发展的角度来看，过去十年是打基础的过程。通过网络，建设一些感知、计算、存储等基础设施，形成一些行业或国家标准（如GB28181、GA1400等），可以说为后续的发展开了个好头。

2020年，以人脸识别为代表的视频智能视觉技术已经成熟MongoDB、Elasticsearch以低成本、高可用性为代表的一系列开源基础软件也得到了广泛的应用。这是实现视频内容数据与物联网感知数据关联、集成和应用的好时机。事实上，智能城市的建设也逐渐实施了类似的案例。

从技术和应用的角度来看，视频大数据与物联网感知数据的融合主要有三个关键的发展机遇：

一是多维接入能力的发展机遇。物联网感知数据的典型特点是数据大、种类多、体积小，对可靠的数据接入和治理提出了很高的要求IoT数据接入主要需要可靠稳定的连接(如支持1亿设备的连接，并且在服务可用性和数据可靠性方面达到99%以上)，接入方式灵活(如果可以通过现有服务)DTU、设备通过网关、通信模块、云对接等方式接入)，网络类型齐全(如支持)WiFi、移动蜂窝网，以太网，Zigbee、RS485等各种网络设备的连接)和协议支持(如支持设备通过GA1400、OVIIF、MQTT、CoAP、HTTPS连接物联网平台等特点，当前各大云服务提供商均提供了物联接入平台，但是由于网络、行业属性，多维接入能力还有很大的发展空间。

二是视频大数据视频图像分析能力的发展机遇。视频图像分析将不可计算的视频流分析为可计算的数据项，主要取决于视频内容的分析性能和分析类型。目前，人脸、车辆和非机动车的图像分析相对成熟。随着应用场景的不断扩大，城市各实体的视频图像分析仍有很大的扩展空间。

三是整合分析能力的发展，通过接入、分析能力建设、物联网感知数据和视频大数据可以进入同一多维大数据平台，进一步需要计算和分析两种数据之间的关系，如车牌号码和驾驶员脸、乘客票检查数据等，通过多维数据关联、分析和集成，可以进一步丰富物理实体（人、车、房间等）的数据描述，要么更准确地确认身份，要么更完整地描绘肖像，这无疑使得应用程序有更大的使用范围。各行各业刚刚起步，发展前景广阔。

3、视频大数据与物联网（IoT）综合发展的困难

视频大数据与物联网（IoT）综合发展的难点如下：

1. 数据标准规范尚未完善

要整合视频大数据和物联网感知数据，首先要解决泛在连接的问题，数据协议是关键。以接入为例，通常有目前常用的接入标准和规范GB28181、GA1400、MQTT、MQTT、CoAP、HTTPS等等，但每个细分领域往往都有自己的专有协议，为万物互联网整合应用设定了更高的门槛，需要在接入上花费大量的资源和资金。当然，标准是随着应用程序的发展而促进的。随着物联网感知数据和视频大数据的应用场景越来越多，协议将逐步完善标准化，访问成本将越来越低。

1. 视觉算力算法尚未发展

对视频大数据的分析严重依赖于算力和算法。GPU，虽然单卡性能强，但密度不足，4U服务器支持80~100路视频图像分析接近极限，这无疑是机房空间和能耗的一种消耗，也限制了更大范围甚至城市的视觉分析。但随着升腾、求索等一系列新架构加速卡的应用，计算密度已达到4U在800路左右的水平上，我们也期待着明年高密度视频计算能力将视频大数据的分析范围和应用范围推向高峰。

从算法的角度来看，首先，视觉分析算法只有三种成熟的人脸、车辆和非机动车。对物品、人体和行为的分析能力仍处于实验室阶段，不足以支持行业的应用。二是视频大数据与多维感知数据的集成。目前，它严重依赖于基于时间和空间属性的大量计算和碰撞。它不仅消耗计算能力，而且难以获得准确和实时的结果。可以说，它是一根大海捞针。

1. 多维融合平台的能力还有待加强

多维集成平台多维集成平台是应用落地的关键IoT、大数据的技术特点和视频大数据的实际情况，建立多维集成大数据平台，具有集成关联、主题分析、资源共享、安全运维和可持续发展的特点，无疑在促进各部门基于集成大数据业务的发展方面发挥着重要作用。

建设多维集成大数据平台，关键是建立大量视频资源的存储和计算资源；分布式存储、流量存储、实时并行分析和计算；视频访问、数据分析、关联集成、控制、管理等服务支持；帮助用户更灵活、更全面地整合视频大数据和物联网感知数据，为各种业务应用和单位提供通用视频服务，提供大量视频智能分析和处理能力，实现视频内容的语义化和结构化解读，统一控制城市物联网感知资源的多维集成大数据平台，真正实现资源整合、服务共享、一般服务支持、综合数据控制。

5、视频大数据与物联网（IoT）综合发展的前景和趋势

从5G的三大场景（eMBB、mMTC、URLLC）来看，eMBB指3D/超高清视频等大流量移动宽带业务，mMTC指大型物联网业务，URLLC指无人驾驶、工业自动化等需要低延迟、高可靠连接的业务，都指向城市万物互联和多维数据集成，可以预见，未来几年，具有这两的应用场景将在未来几年爆发。

随着5G基于视频大数据和物联网，完善城市数字基础设施IoT当物联网技术突破数据采集瓶颈，宽带突破数据传输和交换瓶颈，云计算突破数据存储和大规模计算瓶颈时，我们将逐步建立基于双数字城市基础的虚拟世界数字双城市，既能全息模拟、动态监控、实时诊断，又能准确预测城市物理实体在现实环境中的状态；还能实现城市全要素数字化、虚拟化、全状态实时化、可视化、城市安全治理协调化、智能化，终实现物理城市与数字城市协同交互、平行运转，城市治理、运行管理将会迈入一个新的台阶。