智能视频信息识别监控系统

背景(jing)介绍(shao)

   在(zai)复杂施工环境和条件(jian)多(duo)变的(de)情况下，施工作(zuo)业(ye)过(guo)程(cheng)中的(de)操作(zuo)人员(yuan)难(nan)免存在(zai)作(zuo)业(ye)违(wei)(wei)章行(xing)为(wei)并伴随着较大的(de)作(zuo)业(ye)风(feng)(feng)险。不同的(de)操作(zuo)人员(yuan)业(ye)务水平高低不同，在(zai)施工作(zuo)业(ye)过(guo)程(cheng)中，无法意识到自身存在(zai)作(zuo)业(ye)违(wei)(wei)章行(xing)为(wei)并存在(zai)一定的(de)作(zuo)业(ye)风(feng)(feng)险。针对以上问题，开展(zhan)作(zuo)业(ye)风(feng)(feng)险告警技(ji)术(shu)研(yan)究，建(jian)立基(ji)(ji)于(yu)人工智能(neng)的(de)行(xing)为(wei)识别(bie)告警技(ji)术(shu)。作(zuo)业(ye)风(feng)(feng)险识别(bie)告警模型(xing)通过(guo)基(ji)(ji)于(yu)作(zuo)业(ye)指导文(wen)件(jian)内容，同时结合历(li)史风(feng)(feng)险作(zuo)业(ye)图像特(te)征(zheng)实现作(zuo)业(ye)风(feng)(feng)险识别(bie)告警目(mu)的(de)。

系统(tong)架构

   智能视频信息识别监控系统整体(ti)(ti)建设方案以智(zhi)能推理平台(tai)(tai)为主(zhu)，从数据(ju)(ju)采集终(zhong)端获取数据(ju)(ju)，通过网(wang)线网(wang)络(luo)传输到(dao)数据(ju)(ju)采集控(kong)制中心再通过网(wang)络(luo)网(wang)线将数据(ju)(ju)推送至智(zhi)能推理平台(tai)(tai)中，搭(da)配(pei)人(ren)工智(zhi)能的软硬件处理，最后以获取到(dao)数据(ju)(ju)的分析(xi)结果(guo)进行(xing)警报响应，从而形成(cheng)一体(ti)(ti)化的智(zhi)能推理平台(tai)(tai)解决方案。

   系统(tong)可(ke)以(yi)兼容已有的前端监(jian)(jian)控(kong)设(she)(she)备和(he)系统(tong)，对监(jian)(jian)控(kong)画面(mian)进(jin)(jin)行(xing)(xing)不间断分析和(he)判断，实(shi)现(xian)全天候自动化视(shi)频(pin)监(jian)(jian)控(kong)。边缘(yuan)端只负责采集数据(ju)，将(jiang)采集到(dao)(dao)的原(yuan)始数据(ju)统(tong)一上传到(dao)(dao)数据(ju)采集控(kong)制中(zhong)心(xin)进(jin)(jin)行(xing)(xing)缓(huan)存和(he)设(she)(she)备控(kong)制。其(qi)中(zhong)视(shi)频(pin)数据(ju)会传递给(ji)智能推(tui)(tui)理(li)平(ping)台(tai)，进(jin)(jin)行(xing)(xing)处(chu)理(li)，并(bing)产(chan)生报警(jing)信息(xi)，之后将(jiang)报警(jing)信息(xi)推(tui)(tui)送到(dao)(dao)推(tui)(tui)理(li)平(ping)台(tai)监(jian)(jian)控(kong)中(zhong)心(xin)。推(tui)(tui)理(li)平(ping)台(tai)监(jian)(jian)控(kong)中(zhong)心(xin)根据(ju)接收到(dao)(dao)的数据(ju)进(jin)(jin)行(xing)(xing)可(ke)视(shi)化的展(zhan)现(xian)以(yi)及实(shi)时(shi)触发报警(jing)事件。

   方案采用B/S架构，系统整体计算服务部署在智能推理平台服务器中，使用浏览器客户端进行访问和控制，用户无需安装客户端，具有维护简单，使用方便，分布性强等优点。

功能算法(fa)介(jie)绍

   人(ren)工智能介(jie)绍：

   “人工智能"（Artificial Intelligence，AI）这(zhei)(zhei)一概(gai)念最早由被誉为人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)之父的(de)(de)(de)(de)(de)美(mei)国学(xue)(xue)(xue)(xue)者John Mc Carthy于(yu)1956年在(zai)达(da)特茅斯(si)大(da)学(xue)(xue)(xue)(xue)召开(kai)的(de)(de)(de)(de)(de)会(hui)议(yi)上提出(chu)，是研(yan)究开(kai)发(fa)用(yong)(yong)于(yu)模拟(ni)、延伸和扩(kuo)展人(ren)(ren)(ren)(ren)类(lei)(lei)智能(neng)(neng)(neng)的(de)(de)(de)(de)(de)理(li)论(lun)(lun)、方法、技(ji)术(shu)(shu)及应用(yong)(yong)系统的(de)(de)(de)(de)(de)一门技(ji)术(shu)(shu)科(ke)(ke)学(xue)(xue)(xue)(xue)。人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)是一门综合(he)了计算(suan)(suan)机(ji)科(ke)(ke)学(xue)(xue)(xue)(xue)、控制论(lun)(lun)、信息(xi)论(lun)(lun)、神经生理(li)学(xue)(xue)(xue)(xue)、心(xin)(xin)理(li)学(xue)(xue)(xue)(xue)、语言学(xue)(xue)(xue)(xue)、哲(zhe)学(xue)(xue)(xue)(xue)等(deng)(deng)多种学(xue)(xue)(xue)(xue)科(ke)(ke)互相渗透而发(fa)展起来(lai)的(de)(de)(de)(de)(de)一门交叉学(xue)(xue)(xue)(xue)科(ke)(ke)。关(guan)于(yu)人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)，目前研(yan)究界尚(shang)无(wu)统一的(de)(de)(de)(de)(de)定(ding)义(yi)，美(mei)国斯(si)坦福大(da)学(xue)(xue)(xue)(xue)人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)研(yan)究中心(xin)(xin)尼(ni)尔逊教授下过(guo)这(zhei)(zhei)样一个定(ding)义(yi)：“人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)是关(guan)于(yu)知识的(de)(de)(de)(de)(de)学(xue)(xue)(xue)(xue)科(ke)(ke)，是怎(zen)样表示知识以及怎(zen)样获得(de)知识并使用(yong)(yong)知识的(de)(de)(de)(de)(de)科(ke)(ke)学(xue)(xue)(xue)(xue)。"而麻(ma)省理(li)工(gong)学(xue)(xue)(xue)(xue)院的(de)(de)(de)(de)(de)温斯(si)顿教授认为：“人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)就是研(yan)究如何(he)使计算(suan)(suan)机(ji)去做过(guo)去只有人(ren)(ren)(ren)(ren)才能(neng)(neng)(neng)做的(de)(de)(de)(de)(de)智能(neng)(neng)(neng)工(gong)作。"而单(dan)从人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)所实现的(de)(de)(de)(de)(de)功能(neng)(neng)(neng)来(lai)定(ding)义(yi)，主要是探讨如何(he)运(yun)用(yong)(yong)计算(suan)(suan)机(ji)模仿人(ren)(ren)(ren)(ren)脑所从事的(de)(de)(de)(de)(de)推理(li)、证明、识别、理(li)解(jie)、设(she)计、学(xue)(xue)(xue)(xue)习、思考、规(gui)划(hua)以及问(wen)题求(qiu)解(jie)等(deng)(deng)思维(wei)活动，并以此解(jie)决如咨询、诊断、预(yu)测(ce)、规(gui)划(hua)等(deng)(deng)需要人(ren)(ren)(ren)(ren)类(lei)(lei)专(zhuan)家(jia)才能(neng)(neng)(neng)处理(li)的(de)(de)(de)(de)(de)复(fu)杂问(wen)题，即研(yan)究人(ren)(ren)(ren)(ren)类(lei)(lei)智能(neng)(neng)(neng)活动的(de)(de)(de)(de)(de)规(gui)律。经过(guo)多年发(fa)展，人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)呈(cheng)现出(chu)深度(du)学(xue)(xue)(xue)(xue)习、跨界融合(he)、人(ren)(ren)(ren)(ren)机(ji)协同、群(qun)智开(kai)放、自主操控等(deng)(deng)新(xin)特征。人(ren)(ren)(ren)(ren)工(gong)智能(neng)(neng)(neng)正在(zai)加速与各行业(ye)(ye)(ye)的(de)(de)(de)(de)(de)深度(du)融合(he)，催生新(xin)技(ji)术(shu)(shu)、新(xin)产(chan)品、新(xin)产(chan)业(ye)(ye)(ye)、新(xin)业(ye)(ye)(ye)态(tai)、新(xin)模式，将深刻改(gai)变(bian)人(ren)(ren)(ren)(ren)类(lei)(lei)社会(hui)生活、改(gai)变(bian)世界。

   1、深(shen)度(du)学(xue)习

   深度学习是人工智能的(de)一个方面，它涉及模仿人类(lei)用来获取(qu)某些(xie)类(lei)型(xing)知识的(de)学习方法(fa)，简单的深(shen)度(du)学(xue)习可以被认为是(shi)一(yi)种(zhong)自动(dong)化(hua)分析的方法(fa)。传统的机器学(xue)习算法(fa)是(shi)线性的，但(dan)深(shen)度(du)学(xue)习算法(fa)堆(dui)叠在一(yi)个越来越复杂(za)和抽(chou)象的层次结构中。

   一个(ge)理解深度学习的(de)例子是，想象一个(ge)(ge)(ge)小孩学习一(yi)(yi)个(ge)(ge)(ge)词是(shi)(shi)(shi)(shi)狗(gou)。小孩通过指向一(yi)(yi)个(ge)(ge)(ge)物(wu)体并说出狗(gou)这(zhei)个(ge)(ge)(ge)词来(lai)了(le)解(jie)什(shen)么是(shi)(shi)(shi)(shi)狗(gou)/不(bu)(bu)是(shi)(shi)(shi)(shi)狗(gou)，父母会(hui)说“是(shi)(shi)(shi)(shi)的，那(nei)是(shi)(shi)(shi)(shi)一(yi)(yi)只狗(gou)"或者“不(bu)(bu)，那(nei)不(bu)(bu)是(shi)(shi)(shi)(shi)狗(gou)"。小孩进而继续(xu)指向新的物(wu)体并继续(xu)询问、了(le)解(jie)的时候(hou)，他会(hui)越(yue)来(lai)越(yue)意识到狗(gou)拥有的所有特征(zheng)。小孩在不(bu)(bu)了(le)解(jie)客观事(shi)物(wu)的情(qing)况(kuang)下做的这(zhei)个(ge)(ge)(ge)事(shi)情(qing)，也(ye)就是(shi)(shi)(shi)(shi)通过构(gou)建一(yi)(yi)个(ge)(ge)(ge)层次结构(gou)来(lai)阐明复杂的抽象（狗(gou)的概(gai)念），其中每(mei)个(ge)(ge)(ge)抽象层次都是(shi)(shi)(shi)(shi)从(cong)层次结构(gou)的前一(yi)(yi)层获得(de)的知识创建的。

   使(shi)用深度学(xue)习的(de)(de)(de)计算机程序经历(li)了相同(tong)的(de)(de)(de)过程。层次(ci)结构(gou)中的(de)(de)(de)每个算法对其输(shu)入应用非线性(xing)变换，并使(shi)用其学(xue)习的(de)(de)(de)内容创建(jian)统计模型作为(wei)输(shu)出(chu)。迭代(dai)继续(xu)直(zhi)到(dao)输(shu)出(chu)达到(dao)可接受的(de)(de)(de)准确度。数(shu)据必须通过的(de)(de)(de)处理(li)层数(shu)也就是来自标签的(de)(de)(de)深层启发。

   2、计(ji)算机视觉

   计算机(ji)视(shi)觉是使计算机(ji)“看到(dao)"的(de)科(ke)学(xue)。它采用一(yi)个或(huo)多个摄像机(ji)，模数转换（ADC）和数字信号(hao)处理（DSP），生成的(de)数据(ju)将(jiang)发送到(dao)计算机(ji)或(huo)机(ji)器(qi)人控(kong)制器(qi)。计算机(ji)视(shi)觉的(de)复杂性与(yu)语音识别相似。由于(yu)人眼只对390至770纳米的(de)电磁波(bo)长(zhang)敏感。摄像机(ji)可(ke)(ke)以对比这(zhei)更宽的(de)波(bo)长(zhang)范围敏感。一(yi)些计算机(ji)视(shi)觉系(xi)统就(jiu)可(ke)(ke)以在红外（IR），紫外（UV）或(huo)X射线波(bo)长(zhang)下起作(zuo)用。

   机(ji)(ji)器(qi)(qi)视(shi)(shi)觉(jue)需要更(geng)具有(you)高(gao)级(ji)处(chu)理(li)器(qi)(qi)的(de)计算机(ji)(ji)，这种深度感(gan)知需要高(gao)分辨率(lv)相(xiang)机(ji)(ji)，大量随机(ji)(ji)存取器(qi)(qi)（RAM）和人(ren)工智能（AI）编程(cheng)。它用(yong)于(yu)从签名识别到医学图(tu)像(xiang)分析的(de)各种应(ying)用(yong)中(zhong)。专注于(yu)基(ji)于(yu)机(ji)(ji)器(qi)(qi)的(de)图(tu)像(xiang)处(chu)理(li)的(de)计算机(ji)(ji)视(shi)(shi)觉(jue)通常(chang)与(yu)机(ji)(ji)器(qi)(qi)视(shi)(shi)觉(jue)相(xiang)混淆。

   基(ji)(ji)础设施提供(gong)者(zhe)为人工智(zhi)(zhi)能(neng)(neng)系统(tong)提供(gong)计(ji)算(suan)能(neng)(neng)力(li)支持(chi)，实现(xian)与(yu)(yu)外部世界的沟通(tong)(tong)，并通(tong)(tong)过基(ji)(ji)础平台实现(xian)支撑。计(ji)算(suan)能(neng)(neng)力(li)由智(zhi)(zhi)能(neng)(neng)芯(xin)(xin)片（CPU、GPU、ASIC、FPGA等硬件(jian)加(jia)速芯(xin)(xin)片以及(ji)其它智(zhi)(zhi)能(neng)(neng)芯(xin)(xin)片）等硬件(jian)系统(tong)开发(fa)商提供(gong)；与(yu)(yu)外部世界的沟通(tong)(tong)通(tong)(tong)过新型传感器制造商提供(gong)；基(ji)(ji)础平台包括(kuo)(kuo)分布式计(ji)算(suan)框架提供(gong)商及(ji)网络提供(gong)商提供(gong)平台保障和支持(chi)，即包括(kuo)(kuo)云存储和计(ji)算(suan)、互联互通(tong)(tong)网络等。

   基(ji)本算法介绍：

   1、目标分(fen)类

 ;  解决“是什么? "的(de)问题，即(ji)给定一张输入图(tu)像(xiang)，图(tu)像(xiang)分(fen)类(lei)任务旨在(zai)判(pan)断该(gai)图(tu)像(xiang)所属类(lei)别。常见的(de)分(fen)类(lei)算法(fa)有(you)：ResNet、LetNet、AlexNet、GooleNet等。

   2、目标(biao)检测(ce)

   解决(jue)“是(shi)什么(me)?在(zai)哪里? "的(de)问(wen)题(ti)，即(ji)给定一张输入图(tu)像，目(mu)标(biao)检(jian)测(ce)的(de)任务(wu)旨在(zai)定位(wei)出目(mu)标(biao)的(de)位(wei)置并且告知目(mu)标(biao)物是(shi)什么(me)。常见的(de)检(jian)测(ce)算法有(you)：SSD、YOLO、Fast RCNN、Faster RCNN等。

   3、目标(biao)分割

   目标(biao)分割(ge)分为实例的(de)分割(ge)和(he)场景分割(ge)，解决(jue)“每(mei)一(yi)个(ge)像素(su)属(shu)于哪个(ge)目标(biao)物或(huo)场景? "的(de)问题。常见的(de)分割(ge)算法有：DeepLab、Mask R-CNN、U-Net、FCN等。

   算法方案构成：

   为保证视频(pin)智(zhi)能分析(xi)的检测精度，用户现场(chang)摄像头(tou)要求(qiu)：

   1、支(zhi)持RTSP、RTMP视频流格式(shi)的摄(she)像(xiang)头，分辨率不低于200万像(xiang)素(su)（1920x1080或1600x1200）；

   2、摄像头安装位置：一般摄像机(ji)距(ju)需要(yao)采(cai)集(ji)的(de)区(qu)域(yu)为(wei)3至(zhi)30米(mi)(mi)左右，高(gao)(gao)度(du)为(wei)1至(zhi)8米(mi)(mi)；室内场(chang)景监控距(ju)离一般小(xiao)于(yu)10米(mi)(mi),架设(she)高(gao)(gao)度(du)1至(zhi)3米(mi)(mi)，室外(wai)场(chang)景监控距(ju)离一般小(xiao)于(yu)30米(mi)(mi)，架设(she)高(gao)(gao)度(du)小(xiao)于(yu)8米(mi)(mi)。

安全帽监测

   安全帽检(jian)测为防范特(te)定区(qu)域内人员未佩戴(dai)安全(quan)帽(mao)，本算法方案(an)首先使用YOLO-V3目标(biao)检(jian)测算法进行人头检测，定位图片中的(de)人头位置(zhi)，得到(dao)包含人头的(de)检测框后，在此检测框的(de)基础(chu)上再使(shi)用ResNet-50安(an)全(quan)帽(mao)的(de)分类(lei)算法对检测框内容进行分类(lei)处(chu)理(li)，根据分类(lei)输(shu)出的(de)安(an)全(quan)帽(mao)置(zhi)信度与预设(she)的(de)阈(yu)(yu)值比较，若低于阈(yu)(yu)值，则输(shu)出告警信息。

   下图(tu)为对特定区域的(de)人(ren)员(yuan)安(an)全帽(mao)佩戴情况进行检测效果，对于未佩戴安(an)全帽(mao)的(de)人(ren)员(yuan)进行黄框标注，正常佩戴安(an)全帽(mao)的(de)人(ren)员(yuan)试(shi)用绿框标注。

安(an)全(quan)帽实际效果

工作服（红、蓝(lan)）检测

  为规范特(te)定区(qu)域(yu)的人(ren)员(yuan)穿戴规范，对(dui)未合(he)规穿戴工(gong)(gong)作(zuo)服的人(ren)员(yuan)进行(xing)预警，本算(suan)法方案首先采用YOLO-V3目标(biao)检(jian)测算(suan)法进行(xing)人(ren)体检(jian)测，定位图(tu)片(pian)中的人(ren)体，得到包含人(ren)体的检(jian)测框(kuang)(kuang)后，在(zai)此检(jian)测框(kuang)(kuang)的基础上再使用质(zhi)量模(mo)型进行(xing)过滤，去除(chu)图(tu)像(xiang)质(zhi)量不好的图(tu)像(xiang)。再对(dui)图(tu)像(xiang)质(zhi)量较好的行(xing)人(ren)检(jian)测框(kuang)(kuang)进行(xing)ResNet-50工(gong)(gong)作(zuo)服的分类处理，根据分类输出(chu)的工(gong)(gong)作(zuo)服置(zhi)信度与(yu)预设的阈(yu)值比较，若低于阈(yu)值，则输出(chu)告警信息。

   下图为对特定区域的(de)(de)人员工(gong)作服穿(chuan)着(zhe)(zhe)情况进行检(jian)测的(de)(de)效果，对于未(wei)穿(chuan)着(zhe)(zhe)工(gong)作服的(de)(de)人员使用黄框(kuang)标注(zhu)，正常穿(chuan)着(zhe)(zhe)工(gong)作服的(de)(de)人员使用绿(lv)框(kuang)标注(zhu)。

工服穿戴实际(ji)效果

反光衣穿戴识别(bie)

   为(wei)规范特定区域的(de)(de)(de)(de)人员(yuan)穿(chuan)戴规范，对未合(he)规穿(chuan)戴反(fan)光(guang)衣(yi)的(de)(de)(de)(de)人员(yuan)进行(xing)(xing)(xing)预警，本(ben)算(suan)法方案首先采用(yong)YOLO-V3目(mu)标检测(ce)(ce)(ce)算(suan)法进行(xing)(xing)(xing)人体(ti)(ti)检测(ce)(ce)(ce)，定位图片中的(de)(de)(de)(de)人体(ti)(ti)，得(de)到(dao)包含(han)人体(ti)(ti)的(de)(de)(de)(de)检测(ce)(ce)(ce)框(kuang)后，在(zai)此检测(ce)(ce)(ce)框(kuang)的(de)(de)(de)(de)基础上再使用(yong)ResNet-50反(fan)光(guang)衣(yi)的(de)(de)(de)(de)分(fen)(fen)(fen)类算(suan)法对检测(ce)(ce)(ce)框(kuang)内(nei)容进行(xing)(xing)(xing)分(fen)(fen)(fen)类处理，根据分(fen)(fen)(fen)类输出(chu)的(de)(de)(de)(de)反(fan)光(guang)衣(yi)置(zhi)信度与预设的(de)(de)(de)(de)阈值(zhi)比(bi)较(jiao)，若低于阈值(zhi)，则输出(chu)告警信息。

   下图(tu)为对(dui)特定(ding)区域(yu)的(de)人员反(fan)光衣穿(chuan)着情况进(jin)行检测的(de)效果，对(dui)于未穿(chuan)着反(fan)光衣的(de)人员使(shi)用(yong)红(hong)框标注(zhu)，正常(chang)穿(chuan)着反(fan)光衣的(de)人员使(shi)用(yong)绿框标注(zhu)。

反光衣(yi)佩戴实际(ji)效果(guo)演(yan)示(shi)

行人闯入监测(ce)

  目(mu)前特定(ding)(ding)区域内闯入(ru)仍然采(cai)用人(ren)工查看监控视频的(de)方式，对(dui)于防范具(ju)有滞后性，不能准确实时的(de)进行监测(ce)告警。为防止事态进一(yi)步恶化，本(ben)算法方案(an)先采(cai)用YOLO-V3目(mu)标(biao)检测(ce)算法进行人(ren)体检测(ce)，定(ding)(ding)位图片中(zhong)的(de)人(ren)体，得到包含人(ren)体的(de)检测(ce)框(kuang)后，在此检测框的基础上使用质量模(mo)型(xing)进行过滤(lv)，去除(chu)图(tu)像质量不好的人体(ti)区(qu)(qu)域(yu)图(tu)像。然后基于配(pei)置(zhi)好的区(qu)(qu)域(yu)进行判(pan)断，判(pan)断区(qu)(qu)域(yu)内(nei)(nei)是否有人员(yuan)在内(nei)(nei)，当有人员(yuan)在区(qu)(qu)域(yu)内(nei)(nei)则(ze)进行告警。

下图为(wei)(wei)对(dui)特殊(shu)区(qu)域(yu)(yu)内行人(ren)闯入(ru)的(de)检测效果，对(dui)出现(xian)在违进区(qu)域(yu)(yu)（绿(lv)色为(wei)(wei)禁止进入(ru)区(qu)域(yu)(yu)）的(de)人(ren)员进行异常报(bao)警。

人员闯入实际效(xiao)果

皮肤裸露检测

   皮肤裸露检测为防范区域内人员未穿戴防护用品，造成皮肤裸露有事故隐患，本算法方案首先使用YOLO-V3目标检测算法进行人体检测，定位图片中的人体，得到包含人体的检测框后，在此检测框的基础上使用质量模型进行过滤，去除图像质量不好的人体区域图像。过滤后使用DeepLab v3皮肤裸露的分割算法对剩余检测框内的图像进行分割处理（注(zhu)意：分割区(qu)域(yu)为胳(ge)膊、手、腿、脚部），然后计算分割出的皮肤区域占人体检测框的比值。根据计算出的皮肤区域占比与预设的阈值比较，若高于阈值，则输出告警信息。

   下图为对(dui)区(qu)域内(nei)的人(ren)员进(jin)行(xing)皮肤(fu)裸露检(jian)测的效果，正常人(ren)员以(yi)绿框进(jin)行(xing)标(biao)识，皮肤(fu)裸露的人(ren)员以(yi)红(hong)框进(jin)行(xing)标(biao)识。

皮肤裸露实际效果

烟(yan)火检测

   本算法功能首先采用YOLO-V3目标检测算法进行烟雾、火焰检测，定位图片中的烟火，得到包含烟火的检测框后，基于该检测框位置抠取出后4帧的对应图像，将这5帧中该检测框区域图像的通道进行合并。最后使用ResNet-50算法对合并后的图像进烟火分类处理，根据分类输出的烟火置信度与预设的阈值比较，若高于阈值，则输出告警信息。

烟(yan)火(huo)算(suan)法效果图

抽烟检测

   为(wei)规范区域的人员行(xing)为(wei)，防止(zhi)人员在(zai)禁(jin)烟(yan)(yan)区域内(nei)吸烟(yan)(yan)，有火(huo)灾(zai)的安全隐患，本算法(fa)方案首先采用YOLO-V3目(mu)标检测(ce)算法(fa)进(jin)行(xing)人头检测(ce)，定位图片中的人头，得(de)到包含人头的检测(ce)框后，在(zai)此检测(ce)框的基础上(shang)再使用ResNet-50抽烟(yan)(yan)的分类(lei)算法(fa)对检测(ce)框内(nei)容进(jin)行(xing)分类(lei)处理，根(gen)据分类(lei)输出的抽烟(yan)(yan)置信(xin)度与(yu)预设(she)的阈值(zhi)比较，若高于阈值(zhi)，则输出告警信(xin)息。

   下图为抽烟行为检测的效果。

抽烟检测算法效(xiao)果

打电(dian)话检测

  为规范区域的(de)(de)(de)人(ren)(ren)员(yuan)行(xing)为，防止(zhi)意外事故发生，进行(xing)人(ren)(ren)员(yuan)打(da)电话(hua)行(xing)为监测(ce)(ce)，本算法(fa)方案首(shou)先采用YOLO-V3目标检(jian)测(ce)(ce)算法(fa)进行(xing)人(ren)(ren)头(tou)检(jian)测(ce)(ce)，定位(wei)图片(pian)中的(de)(de)(de)人(ren)(ren)头(tou)，得到(dao)包含人(ren)(ren)头(tou)的(de)(de)(de)检(jian)测(ce)(ce)框后，在此检(jian)测(ce)(ce)框的(de)(de)(de)基础(chu)上再使用ResNet-50打(da)电话(hua)的(de)(de)(de)分(fen)类算法(fa)对检(jian)测(ce)(ce)框内容进行(xing)分(fen)类处理(li)，根(gen)据分(fen)类输出的(de)(de)(de)抽烟置信度与预设的(de)(de)(de)阈值比较，若高(gao)于阈值，则输出告警(jing)信息(xi)。

   下(xia)图为(wei)打电话行(xing)为(wei)检测检测效果。

打(da)电话(hua)检(jian)测算法效果(guo)

人员倒地检测

   为(wei)及时预(yu)警区域(yu)的(de)(de)人(ren)(ren)员(yuan)安全，防止人(ren)(ren)员(yuan)在发(fa)生倒地时无人(ren)(ren)发(fa)现，可以采用智(zhi)能识(shi)别方式，本(ben)算法方案首先采用YOLO-V3目标(biao)检(jian)测算法进(jin)(jin)行摔(shuai)倒人(ren)(ren)体的(de)(de)检(jian)测，定(ding)位图片中的(de)(de)人(ren)(ren)体，得到包含人(ren)(ren)体的(de)(de)检(jian)测框后，在此检(jian)测框的(de)(de)基(ji)础上再使用HRNet进(jin)(jin)行人(ren)(ren)体关键(jian)(jian)点检(jian)测，获取左(zuo)右肩中点和左(zuo)右脚踝中点的(de)(de)连(lian)线(xian)（人(ren)(ren)体中心(xin)线(xian)），计算人(ren)(ren)体中心(xin)线(xian)与(yu)垂直方向的(de)(de)夹(jia)角(jiao)并进(jin)(jin)行判(pan)断(duan)，若(ruo)大于(yu)阈(yu)值角(jiao)度就判(pan)定(ding)为(wei)摔(shuai)倒，否则继续进(jin)(jin)行判(pan)断(duan)。基(ji)于(yu)前一步的(de)(de)人(ren)(ren)体关键(jian)(jian)点绘制(zhi)骨(gu)架(jia)图，使用ResNet-50对骨(gu)架(jia)图进(jin)(jin)行分类处理，根(gen)据分类输(shu)出的(de)(de)摔(shuai)倒置(zhi)信度与(yu)预(yu)设的(de)(de)阈(yu)值比较，若(ruo)高于(yu)阈(yu)值，则输(shu)出告警信息。

   下(xia)图为人员倒(dao)地行为检测(ce)的(de)效果图。