吴梓栋，吴岩，董寿洋，陈泽森
（杭州电子科技大学 电子信息学院，浙江杭州，310018）
当今时代，传统的安全防治措施以及监控系统已经越来越难满足现实生活的需求。加强甚至创新监控系统逐渐成为一种强有力的趋势。为了追踪嫌疑犯或是在学校、商场、游乐园等地追寻走丢的行人，可借助人工智能技术，将行人重识别与智能分析系统相结合，从而为信息化建设智能监控系统提供切实可行的整体解决方案[1]。
行人重识别分析技术结合并运用了视频流处理技术、图像处理技术来处理原始的监控视频，用户可以首先在系统中预设好目标人物的图像照片，重识别系统会对原始监控视频中的人物进行截取、比对分析和抉择，最后将检测出来的相似度较高的嫌疑人的照片和位置信息发送到系统中给监控人员再确认、处理，代替监控人员完成对大量监控视频的进行实时监控和对可疑人物的定位与逮捕工作。通过行人重识别系统的视频分析手段，不仅监控人员可以从大量重复的、持续的监控视频的监督和查看工作中解脱开来，只需要专注于各类事件人员的抓捕和预警即可，而且也真正做到了监控系统的实时性、可靠性，极大提高了安全保障。
本系统主要包含行人查找模块，服务器端视频流输入和截取模块，跨分辨率重识别模块三大部分。行人查找模块主要实现对视频流中的行人和其他物体进行框定和定位，用于输送到后续模块中；
服务器端视频流输入和截取模块主要用人工在服务器端负责对监控视频进行目标人物图片的抓取，保存以及展示等功能；
跨分辨率重识别模块属于智能模块，主要完成对数据库行人的搜索与比对功能，并对匹配成功的目标人物进行细节展示和追踪。该智能监控系统主要功能是对特定行人实现跨摄像头重识别匹配。出于监控视频的方便性考虑，该系统设置了网页端可以进入系统。用户通过该系统能够实现对多个不同区域进行监控视频传输；
用户从监控视频中截取需要进行搜索的特定行人，系统自动保存后，用户对需要搜索的目标行人进行确认并展示，因此需要实现视频截取模块；
截取人目标行人之后，将从监控视频中截取的目标行人与数据库中的行人进行搜索匹配，因此需要实现跨分辨率行人重识别模块；
最后将搜索到匹配的目标人物进行细节展示，发送回服务器端给安保人员处理。
图1 行人追踪系统运行过程
■1.1 YOLOv3 层网络设计
图2 为YOLOv3 的网络框架图。YOLOv3 仅使用卷积层，使其成为一个全卷积网络。包含53 个卷积层，每个后面跟随着Batch Normalization 层和LeakyReLU 层。没有池化层，使用步幅为2 的卷积层替代池化层进行特征图的降采样过程，这样可以有效阻止由于池化层导致的低层级特征的损失[2]。为了识别更多的物体，尤其小物体，YOLOv3 使用三个不同尺度进行预测（不仅仅只使用13X13）。三个不同尺度步幅分别是32、16 和8。这意味着，输入416X416图像，检测尺度分别为13X13、26X26 和52X52。由于本项目的目标是部署在日常生活的场景中，所以推荐采用COCO 数据集，这个数据集以Sceneunderstanding 为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的Segmentation 进行位置的标定[3]。图像包括91 类目标，328,000 影像和2,500,000 个Label。目前为止有语义分割的最大数据集，提供的类别有80 类，有超过33 万张图片，其中20 万张有标注，整个数据集中个体的数目超过150 万个[4]。可以满足部署在不同场景的需求，提高项目的适用性和准确性。通过先对视频处理，按照帧率对视频截取为图片，然后将图片集合为向量送入到YOLOv3 网络中进行处理，YOLOv3 会输出标定人物的坐标，图片和索引，将其送入到后续的重识别网络中。重识别网络识别结束后返回索引，YOLOv3 再根据每张图片返回的索引进行特定人物标定，最后将标定好的图片按照帧率合成视频[5]。
图2 YOLOv3 网络结构图
图3 改进的Resnet50 网络结构图
■1.2 Resnet50 网络设计
对图片中人物进行特征提取，Resnet50 残差网络可以有效地对复杂图片进行特征提取同时相对于其它网络抑制了梯度爆炸和梯度消失[6]。在训练时，针对不同训练集，图片分类数量也各不相同，Resnet50 网络做对应的修改[7]，将Resnet50 网络最后一层删除，加入具有512 个神经元的全连接层，紧接着加入与分类图片个数相同的神经元数目的全连接层，用来进行网络训练，本文采用DukeMTMC-ReID数据集，所以在具有512 个神经元的全连接层后加入有702 个神经元的全连接层进行网络训练。利用Momentum为0.9 的梯度下降法进行参数更新[8]，为了提高训练网络效果，学习率以每40 轮进行一次衰减，损失函数使用交叉熵函数，对数据集重复训练60 次可以使网络得到较好的分类效果[9]。训练完成以后，将网络最后具有702 个神经元的全连接层删除，当图片经过该网络以后可以得到一个大小为512 的特征向量，通过对比不同图片之间特征向量的距离，以此判断是否属于同一目标人物[10]。
图4 为服务器端设计，主程序部分首先是服务端的启动，这里用到了后端服务器框架Django，用该框架构建出前端界面以及后端模块。其中，前端模块主要是网页界面的设置，根据项目需要在网页上设置用户提交图片和视频的窗口以及相应的按键。后端部分则是将用户提交上来的图片和视频进行相应的存储并递交到行人重识别的项目程序入口，调度之前训练好的模型文件，进行视频流中目标行人的查找与框定，最后将运行结果返回，用户可在网页上点击相应的链接下载最终的运行结果文件。在服务器启动之前需进行一系列的环境配置，构建Python 虚拟环境并安装所需的软件包后，在该虚拟环境中启动Django 服务器，即可实现在本地运行。将该服务器设置为运行于本机IP:127.0.0.1 的8000 端口下，若服务器端开启失败，则执行自重启过程。服务器顺利开启之后，运用Cpolar 内网穿透工具将本机IP:127.0.0.1 的8000 端口通过Http 协议映射至外网，生成可动态访问的域名。服务器端需要做到与用户进行交互，我们针对用户需要进行相应的设计。服务器端做到的功能有，用户提交图片和视频及相应的网页端预览，用户能够通过下载挂载在网页端的处理结果文件来查看相应的处理结果视频。
图4 服务器设计结构图
服务器端先开启Django 服务器，即可将事先编写好的网页内容在本地展现。由于需要做到能够外网访问处于内网中的服务器，我们借助Cpolar 这个内网穿透工具将本地地址映射至外网，生成可动态访问的域名，用户在得知该域名之后，通过浏览器访问该网址，就进入REID 在线识别验证平台。在线网页端操作如图5 所示，在首页点击START 按钮进入正式识别平台，点击选择视频和选择图片按钮，分别将待查找视频和目标人物图片上传。点击开始识别，服务器端就调用识别程序，逐步进行视频分帧存储，YOLOv3 网络分割出图像中的所有人物，ResNet50 网络将分割出的人物图片逐一与目标人物图片进行对比，找出其中最为相似人物并在图片中用绿框框出并标注。服务器端处理时间根据视频大小来确定的，由于我们服务器采用了多进程以及多线程处理，处理时间较短。对于比较短小的视频，一般处理用时能够控制在1 分钟以内。处理结束后会产生一张张的处理结果图片，最后将这些图片合成一个完整的视频并挂载在网页上，用户点击下载按钮就能将处理好的结果视频下载到本地。
图5 在线网页端操作图
经过多次实验，我们发现我们的网络模型识别准确率较高，行人在不被遮挡的情况下基本上都能够准确识别出来，即使在有遮挡的情况下，50%以内被遮挡也都是能够被准确识别出来的，处理结果如图6 所示。
图6 处理结果图
在对网络进行训练的过程中，我们采用了DukeMTMCreID 数据集进行训练，最后计算得到网络模型的Rank 和准确度，其中Rank1 为79.4%，Rank5 为89.3%，Rank10为92%，mAP 为62.6%，结果如图7 所示。模型的损失函数随着模型的迭代进行而逐渐降低，如图8 所示。这些数据表明模型在数据集中有较好的表现，能进一步在实际场景中应用和训练。
图7 模型准确度得分结果图
本系统已实现用户可以随时通过登录该系统网页实现对多个不同区域进行监控视频传输和特定人物搜索；
用户从监控视频中截取需要进行搜索的特定行人上传到系统，系统自动保存后，用户再对需要搜索的目标行人进行确认并展示，因此需要实现视频截取模块；
截取了目标行人之后，系统将从监控视频中依次截取的目标行人与用户上传图片中的行人进行搜索匹配相似度，最后将搜索到匹配相似度最高的目标人物进行细节展示在网页上。系统将所有帧中找到的目标人物框定后合成视频再输出给用户，供用户下载。本系统已经能实现在人流多场景中高效准确找到目标人物。
图8 损失函数结果图
猜你喜欢 服务器端行人监控 The Great Barrier Reef shows coral comeback疯狂英语·新读写(2021年10期)2021-12-07毒舌出没，行人避让意林(2021年5期)2021-04-18Linux环境下基于Socket的数据传输软件设计数码世界(2020年11期)2020-11-23你被监控了吗？新世纪智能(英语备考)(2019年4期)2019-06-26Zabbix在ATS系统集中监控中的应用铁道通信信号(2019年11期)2019-05-21路不为寻找者而设扬子江(2019年1期)2019-03-08浅析异步通信层的架构在ASP.NET 程序中的应用成功(2018年10期)2018-03-26我是行人小天使·一年级语数英综合(2017年6期)2017-06-07基于Qt的安全即时通讯软件服务器端设计网络空间安全(2016年11期)2017-02-13PDCA循环法在多重耐药菌感染监控中的应用中国当代医药(2015年17期)2015-03-01