我国经济飞速发展，电力体制改革不断深入，“互联网+”技术使电力客户的消费方 式、使用习惯都发生了巨大变化，同时也大大提升了传统行业的竞争能力，近年来，随着我 国国民经济的迅猛发展，电力负荷逐年增加，配电网络的结构也日趋复杂。同时随着近2年 来电力施工中发生的众多电力事故，大部分原因是由于监管不到位，电力施工人员自身对 安全的不重视，国家也加大了对电力行业安全监管的力度，特别是变电站和和输电线路是 电力系统的重要设施，作为整个电网运行的核心组成部分，其建设前期人员安全、运转的安 全性和可靠性直接关系整个电力系统的稳固。随着变电站“无人值守”的进一步落实，电力 系统对智能化的需求与日倶增；目前变电站和输电线路采用的还是传统的监控方式，运维 人员必须随时监控视频画面，以防漏掉故障与违反安全生产要求的图像。安全检查时更得 通盘检索，浪费大量人力、物力与时间，无法充分发挥监控系统的功效。国家电网公司以往 对变电站、主配网线路的安全作业由传统的纯人工监控监管向着科技化、智能化的新模式 发展。现需要一套拥有人员安全行为鉴别、智能运维、智能化安防报警、智能化监管系统及方法。
问题拆分
包括前端采集单元、智能处理单元和分布式流媒体平台；所述前端采集单元包括：多个摄像装置，安装在不同的监控点；以及一个或一个以上的网络视频录像机，网络视频录像机通过监控网络与摄像装置连接；所述智能处理单元包括模型训练机、智能分析器和数据库服务器，智能分析器和数据库服务器与监控网络连接；所述分布式流媒体平台包括流媒体服务器和监控管理平台，该流媒体服务器和监控管理平台与监控网络连接。本发明实现了人员安全行为鉴别，智能运维、智能化安防报警以及智能化监管。
问题解决
本发明的目的是提供一种电力安全作业及运维智能监管系统及方法，能实现人员 安全行为鉴别，智能运维、智能化安防报警以及智能化监管。
[0004] 本发明所述的电力安全作业及运维智能监管系统，包括前端采集单元、智能处理 单元和分布式流媒体平台；
[0005] 所述前端采集单元包括：
[0006] 多个摄像装置，安装在不同的监控点，用于采集监控点的视频信息；
[0007] 以及一个或一个以上的网络视频录像机，用于记录摄像装置所采集的视频信息， 该网络视频录像机通过监控网络与摄像装置连接；
[0008] 所述智能处理单元包括：
[0009] 模型训练机，用于构建卷积神经网络，并利用样本图像训练卷积神经网络；
[0010] 智能分析器，利用训练好的卷积神经网络对前端采集单元所采集的实时视频流进 行识别，若识别出作业现场出现未授权的非作业人员，和/或设备出现异常，和/或作业现场 人员有安全违规行为，则发出报警提示和/或记录；
[0011] 数据库服务器，用于存储匹配的图像视频文件，该数据库服务器与监控网络连接；
[0012] 所述分布式流媒体平台包括：
[0013] 流媒体服务器，用于转发前端采集单元的直播视频流以及将前端采集单元所采集 的视频信息转发给智能分析器，该流媒体服务器与监控网络连接；
[0014] 监控管理平台，用于对系统内的各设备进行监控和管理，该监控管理平台与监控 网络连接。
[0015] 所述分布式流媒体平台还包括：
[0016] 监控终端，该监控终端与监控网络连接，或该监控终端通过云端接入监控网络。
[0017] 本发明所述的电力安全作业及运维智能监管方法，采用本发明所述的电力安全作 业及运维智能监管系统，其方法包括：
[0018] 构建卷积神经网络，利用样本图像训练卷积神经网络；
[0019] 利用训练好的卷积神经网络对前端采集单元所采集的实时视频流进行识别，若识 别出作业现场出现未授权的非作业人员，和/或设备出现异常，和/或作业现场人员有安全 违规行为，则发出报警提示和/或记录。
[0020] 还包括：
[0021] 利用火焰识别算法判别图像是否为火焰，若判为火焰，则发出报警提示。
[0022] 所述构建卷积神经网络，利用样本图像训练卷积神经网络包括：
[0023] 训练采用迀移学习技术进行训练，分为样本采集、样本预处理和训练建模；
[0024] 样本为视频时，采用相等时间间隔进行视频图像帧采样，将视频转化为图片格式 文件;再对图像进行预处理，预处理包括图像降噪、图像色彩和饱和度调节；
[0025] 完成样本预处理后启动模型训练进程，模型训练分为开发阶段模型原型训练和现 场部署后在线迀移学习训练两种模式；
[0026] 模型在训练过程中，在训练集上完成一个批次的训练，均在验证集上进行一次模 型精度验证，检查模型泛化能力;模型经多轮迭代收敛后再进行上线部署，后期结合现场增 量数据定期进行性能调优。
[0027] 所述利用训练好的卷积神经网络对前端采集单元所采集的实时视频流进行识别 包括：
[0028] 获取前端采集单元所采集的实时视频流，经过视频抽帧后得到单帧图像，再进行 降噪、色彩和旋转处理，并以图像矩阵的形式输入卷积神经网络;然后启动卷积神经网络向 前传播计算模式，输入的图像矩阵经卷积进行图像特征重构后，由图像判别层生成预测标 注框和故障种类代码的结构化数据。
[0029] 所述卷积神经网络分为安全行为判别神经网络、设备运行状态判别神经网络和人 脸识别神经网络，
[0030] 利用人脸识别神经网络来识别作业现场是否出现未授权的非作业人员；
[0031] 利用设备运行状态判别神经网络来识别设备是否有异常；
[0032] 利用安全行为判别神经网络来识别作业现场人员是否有安全违规行为。
[0033] 构建安全行为判别神经网络，利用样本图像训练安全行为判别神经网络的方法包 括：
[0034] 步骤11、构建原始图像数据集:对实际作业环境下工作人员的行为进行拍摄并录 制视频，采取视频抽帧的方式获取包含工作人员行为的图片文件，构建原始图像数据集；
[0035] 步骤12、构建训练数据集:原始图像数据集构建完成后，对图像进行标注，图像标 注分为3个ROI进行，ROI为感兴趣区域;其中，第1个ROI包含人体头部至小腿中部区域;第2 个ROI包含颈部和头部区域;第3个ROI包含小腿中部以下及足部；
[0036] 图像依据下述分类规则进行标注：
[0037] 第1个ROI的标注:①规范的长袖长裤着装、②穿短袖上衣、③穿短裤、④长袖上衣 挽袖口、⑤长裤挽裤脚、⑥未佩戴安全帽；
[0038] 第2个ROI的标注:①穿安全鞋、②穿拖鞋和凉鞋；
[0039] 第3个ROI标注:①未抽烟及打电话、②打电话、③抽烟；
[0040] 标注后的ROI信息通过1个xml格式文件进行保存，每张图片对应1个xml文件;全部 图片完成标注后，即构成训练数据集；
[0041] 步骤13、设计神经网络判别模型：神经网络判别模型包括输入层、卷积层、池化层 和判别输出层;输入层用于图片的输入;卷积层采取多层叠加的形式布置，用于图像特征从 低到高的提取;池化层接于卷积层后，用于降低参数规模和防止过拟合;判别输出层采用 softmax函数进行分类判别值的输出；
[0042] 步骤14、模型训练:模型训练在DarkNet上实现，由DarkNet框架提供神经网络判别 模型计算所需要的卷积、池化等算子，以及模型训练和性能评估算法;将训练数据集按预设 的比例分为训练集与验证集;训练集图片数据集随机组合，每kl张图片组成1个批次，经图 像旋转、色彩调节和亮度调节后，逐批次输入模型进行训练，训练采用SGD算法进行，设置初 始学习率;每个批次训练完成后，计算模型的损失函数值、损失函数均方差、IOU值和召回 率;统计并绘制损失函数变化曲线，根据损失函数值变化情况，对学习率进行调节，具体方 法为:观察损失函数曲线，当每个批次模型训练迭代之后，损失函数值出现震荡，则将学习 率降低，继续模型迭代；当损失函数收敛至趋近于零，且损失函数均方差低于预设阈值时， 结束模型训练迭代，使用验证集对模型的性能进行评估；
[0043] 步骤15、判别模型的持续优化:判别模型上线后，依靠判别模型对视频图像进行自 动标注，并对图像标注的结果进行检查和筛选，形成增量图像数据集;将增量图像数据集与 图像训练数据集合并，形成新的训练数据集，然后按步骤14重新训练模型，实现判别模型在 增量数据上的持续优化。
[0044] 构建设备运行状态判别神经网络，利用样本图像训练设备运行状态判别神经网络 的方法包括：
[0045] 步骤21、构建原始图像数据集:对实际设备运行状态进行拍摄并录制视频，采取视 频抽帧的方式获取包含设备运行状态的图片文件，构建原始图像数据集；
[0046] 步骤22、构建训练数据集:原始图像数据集构建完成后，对图像进行标注，图像标 注1个R0I，分类标注规则为:①设备正常运行、②设备故障;标注后的ROI信息通过1个xml格 式文件进行保存，每张图片对应1个xml文件;全部图片完成标注后，即构成训练数据集；
[0047] 步骤23、设计神经网络判别模型：判别模型包括输入层、卷积层、池化层和判别输 出层;输入层用于图片的输入;卷积层采取多层叠加的形式布置，用于图像特征从低到高的 提取;池化层接于卷积层后，用于降低参数规模和防止过拟合;判别输出层采用sof tmax函 数进行分类判别值的输出；
[0048] 步骤24、模型训练:模型训练在DarkNet上实现，由DarkNet框架提供神经网络判别 模型计算所需要的卷积、池化等算子，以及模型训练和性能评估算法;将训练数据集按预设 的比例分为训练集与验证集;训练集图片数据集随机组合，每k2张图片组成1个批次，经图 像旋转、色彩调节和亮度调节后，逐批次输入模型进行训练，训练采用SGD算法进行，设置初 始学习率;每个批次训练完成后，计算模型的损失函数值、损失函数均方差、IOU值和召回 率;统计并绘制损失函数变化曲线，根据损失函数值变化情况，对学习率进行调节，具体方 法为:观察损失函数曲线，当每个批次模型训练迭代之后，损失函数值出现震荡，则将学习 率降低，继续模型迭代；当损失函数收敛至趋近于零，且损失函数均方差低于预设阈值时， 结束模型训练迭代，使用验证集对模型的性能进行评估；
[0049] 步骤25、判别模型的持续优化:判别模型上线后，依靠判别模型对视频图像进行自 动标注，并对图像标注的结果进行检查和筛选，形成增量图像数据集;将增量图像数据集与 图像训练数据集合并，形成新的训练数据集，然后按步骤24重新训练模型，实现判别模型在 增量数据上的持续优化。
[0050] 构建人脸识别神经网络，利用样本图像训练人脸识别神经网络的方法包括：
[0051] 步骤31、构建原始图像数据集:对人脸进行拍照，构建人脸数据集；
[0052] 步骤32、构建训练数据集:原始图像数据集构建完成后，对图像进行标注，图像标 注1个ROI，即人物的面部特征，分类标注规则为:①根据人员身份ID进行标注;标注后的ROI 信息通过1个xml格式文件进行保存，每张图片对应1个xml文件;全部图片完成标注后，即构 成训练数据集；
[0053] 步骤33、设计神经网络判别模型：判别模型包括输入层、卷积层、池化层和判别输 出层组成，输入层用于图片的输入;卷积层采取多层叠加的形式布置，用于图像特征从低到 高的提取；池化层接于卷积层后，用于降低参数规模和防止过拟合；判别输出层采用 softmax函数进行分类判别值的输出；
[0054] 步骤34、模型训练:模型训练在DarkNet上实现，由DarkNet框架提供神经网络判别 模型计算所需要的卷积、池化等算子，以及模型训练和性能评估算法;将训练数据集按预设 的比例分为训练集与验证集;训练集图片数据集随机组合，每k3张图片组成1个批次，经图 像旋转、色彩调节和亮度调节后，逐批次输入模型进行训练，训练采用SGD算法进行，设置初 始学习率;每个批次训练完成后，计算模型的损失函数值、损失函数均方差、IOU值和召回 率;统计并绘制损失函数变化曲线，根据损失函数值变化情况，对学习率进行调节，具体方 法为:观察损失函数曲线，当每个批次模型训练迭代之后，损失函数值出现震荡，则将学习 率降低，继续模型迭代；当损失函数收敛至趋近于零，且损失函数均方差低于预设阈值时， 结束模型训练迭代，使用验证集对模型的性能进行评估；
[0055] 步骤35、判别模型的持续优化:判别模型上线后，依靠判别模型对视频图像进行自 动标注，并由专业人员对图像标注的结果进行检查和筛选，形成增量图像数据集;将增量图 像数据集与图像训练数据集合并，形成新的训练数据集，然后按步骤34重新训练模型，实现 判别模型在增量数据上的持续优化。
[0056] 本发明的有益效果：
[0057] (1)监督工作人员在运维检修作业过程中对安全规范准则的遵守情况，实时的检 测并识别违反规定的行为;违规行为主要包括未佩戴安全帽、未穿工作服、穿拖鞋或凉鞋、 作业场内抽烟、作业现场火灾、检修作业接打电话等；
[0058] (2)对现场工作人员进行管理，当监测到有人员进入设定检测区域时，摄像机会检 测人脸并抓拍人脸图像，把人脸抓拍照片发送到后台进行人脸比对、检索等智能业务处理。 通过人脸识别检测，能够达到人员监管的目的；
[0059] (3)通过对重点区域、重点设备运行状态的24小时实时监测，将运维巡视人员从繁 重的巡视任务中解放出来，同时也提升了设备安全动作的可靠性；
[0060] 综上所述，本发明相对于现有纯人工视频监管模式，减少了纯人工监管过程中因 监管人员疏漏、疲劳、风险报警不及时等情况带来的作业安全风险及电力事故的发生，以更 科学的方式实现电力现代化、智能化方向提供了更有力的基础保障。
