首页 > 专利 > 北京无忧乐道科技有限公司 > 基于数据分析的防遮挡处理系统专利详情

基于数据分析的防遮挡处理系统   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-12-31
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-11-20
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-04-05
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-12-31
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201911403075.3 申请日 2019-12-31
公开/公告号 CN111836103B 公开/公告日 2022-04-05
授权日 2022-04-05 预估到期日 2039-12-31
申请年 2019年 公开/公告年 2022年
缴费截止日
分类号 H04N21/44H04N21/4402G06V40/10 主分类号 H04N21/44
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 7
权利要求数量 8 非专利引证数量 0
引用专利数量 7 被引证专利数量 0
非专利引证
引用专利 US2015116546A1、US2018330470A1、US2019132530A1、CN109936704A、WO2019092445A1、CN109697745A、CN107395979A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 转让 事务标签 公开、实质审查、申请权转移、授权
申请人信息
申请人 第一申请人
专利权人 北京无忧乐道科技有限公司 当前专利权人 北京无忧乐道科技有限公司
发明人 于刚 第一发明人 于刚
地址 北京市朝阳区百子湾路29、31号2号楼1层1026室 邮编 100022
申请人数量 1 发明人数量 1
申请人所在省 北京市 申请人所在市 北京市朝阳区
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
哈尔滨市松花江专利商标事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
高倩
摘要
本发明涉及一种基于数据分析的防遮挡处理系统,所述系统包括:画面捕获设备,用于获取本地直播设备抓取的现场直播画面,并输出所述现场直播画面;现场滤波设备,用于对接收到的现场直播画面执行统计排序滤波处理,以获得相应的现场滤波图像;数据分析设备,用于基于手部外形特征识别所述现场滤波图像中的各个手部对象;参数鉴别设备,用于对所述现场滤波图像中的每一个手部对象执行景深分析,以获得对应的手部景深。本发明的基于数据分析的防遮挡处理系统结构简单、方便实用。由于能够对不同手部遮挡情况进行鉴别,从而实现对过于遮挡的手部的图像信号的修正,以提升直播画面质量。
  • 摘要附图
    基于数据分析的防遮挡处理系统
  • 说明书附图:图1
    基于数据分析的防遮挡处理系统
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-04-05 授权
2 2022-04-01 专利申请权的转移 登记生效日: 2022.03.18 申请人由于刚变更为北京无忧乐道科技有限公司 地址由100176 北京市大兴区北京经济技术开发区文昌大道7号变更为100022 北京市朝阳区百子湾路29、31号2号楼1层1026室
3 2020-11-20 实质审查的生效 IPC(主分类): H04N 21/44 专利申请号: 201911403075.3 申请日: 2019.12.31
4 2020-10-27 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于数据分析的防遮挡处理系统,其特征在于,包括:
画面捕获设备,用于获取本地直播设备抓取的现场直播画面,并输出所述现场直播画面;
现场滤波设备,与所述画面捕获设备连接,用于对接收到的现场直播画面执行统计排序滤波处理,以获得相应的现场滤波图像;
数据分析设备,与所述现场滤波设备连接,用于接收所述现场滤波图像,并基于手部外形特征识别所述现场滤波图像中的各个手部对象;
参数鉴别设备,与所述数据分析设备连接,用于对所述现场滤波图像中的每一个手部对象执行景深分析,以获得对应的手部景深;
内容选择设备,分别与所述数据分析设备和所述参数鉴别设备连接,用于将手部景深浅于预设景深阈值的手部对象作为待处理对象;
信号修正设备,与所述内容选择设备连接,用于在所述现场滤波图像中删除每一个待处理对象,并基于每一个待处理对象周围的图像内容对所述待处理对象在所述现场滤波图像中的成像区域的图像内容进行估算,以基于估算的图像内容填补所述待处理对象在所述现场滤波图像中的成像区域;
视频输出设备,与所述信号修正设备连接,用于将进行内容替换后的所述现场滤波图像作为所述现场直播画面的修正视频画面输出;
其中,基于每一个待处理对象周围的图像内容对所述待处理对象在所述现场滤波图像中的成像区域的图像内容进行估算包括:基于每一个待处理对象周围的各个图像分块的各个图像内容预测所述待处理对象在所述现场滤波图像中的成像区域的图像内容。

2.如权利要求1所述的基于数据分析的防遮挡处理系统,其特征在于:
对所述现场滤波图像中的每一个手部对象执行景深分析,以获得对应的手部景深包括:获取组成手部对象的每一个像素点的景深值,将组成手部对象的各个像素点的各个景深值的均值作为所述手部对象对应的手部景深。

3.如权利要求2所述的基于数据分析的防遮挡处理系统,其特征在于:
所述内容选择设备内置有存储单元,用于存储所述预设景深阈值。

4.如权利要求3所述的基于数据分析的防遮挡处理系统,其特征在于:
所述参数鉴别设备具有串行通信接口,用于接收外部输入的串行通信数据。

5.如权利要求4所述的基于数据分析的防遮挡处理系统,其特征在于:
所述内容选择设备具有并行通信接口,用于接收外部输入的并行通信数据,所述并行通信接口的位数为8位或16位。

6.如权利要求5所述的基于数据分析的防遮挡处理系统,其特征在于:
所述信号修正设备与IIC控制总线连接,用于接收所述IIC控制总线发送的各种控制命令,所述各种控制命令用于分别配置所述信号修正设备的各个工作参数。

7.如权利要求6所述的基于数据分析的防遮挡处理系统,其特征在于:
所述参数鉴别设备、所述内容选择设备和所述信号修正设备共用同一时钟产生设备,所述时钟产生设备为一石英振荡器。

8.如权利要求7所述的基于数据分析的防遮挡处理系统,其特征在于,还包括:
内容显示设备,与所述参数鉴别设备连接,用于接收并显示所述参数鉴别设备的工作状态;
其中,所述内容显示设备还与所述内容选择设备连接,用于接收并显示所述内容选择设备的工作状态;
其中,所述信号修正设备还包括内置存储单元,用于暂存所述信号修正设备的输入数据和输出数据。
说明书

技术领域

[0001] 本发明涉及视频直播领域,尤其涉及一种基于数据分析的防遮挡处理系统。

背景技术

[0002] 视频直播业务就是在点播业务的基础上演变而来。在视频点播业务中所有的节目都是以流媒体文件的格式存储在服务器中。视频直播业务中的节目源,一般为电视信号。
[0003] 电视信号首先通过电视机盒将信号分解为图像信号和声音信号,如果节目源本身是图像信号和声音信号,如从录像机等设备输出的信号就无需分解。如果是模拟信号,必须通过数模转换器转换成数字信号。然后数字信号通过流媒体编码器(可以为硬件编码器和软件编码器)生成直播文件储存在服务器中。
[0004] 视频直播是指利用互联网及流媒体技术进行直播,视频因融合了图像、文字、声音等丰富元素,声形并茂,效果极佳,逐渐成为互联网的主流表达方式。视频通过真实、生动的传播,营造出强烈的现场感,吸引眼球,达成印象深刻、记忆持久的传播效果。

发明内容

[0005] 为了解决相关领域的技术问题,本发明提供了一种基于数据分析的防遮挡处理系统,能够对直播画面中存在遮挡效果的手部对象进行信号预测和内容替换,从而减少画面遮挡,提升画面质量。
[0006] 为此,本发明需要具备以下三处重要的发明点:
[0007] (1)获取当前直播视频画面的各个手部对象,并在手部对象景深较浅时,将其认定为存在遮挡效果的手部对象并执行相应的防遮挡处理;
[0008] (2)获取组成手部对象的每一个像素点的景深值,将组成手部对象的各个像素点的各个景深值的均值作为所述手部对象对应的手部景深;
[0009] (3)在具体的防遮挡处理中,删除每一个具有遮挡效果的手部成像区域,采用其周围图像内容估算和替换被删除的手部成像区域,以获得遮挡处理后的视频画面。
[0010] 根据本发明的一方面,提供了一种基于数据分析的防遮挡处理系统,所述系统包括:
[0011] 画面捕获设备,用于获取本地直播设备抓取的现场直播画面,并输出所述现场直播画面;
[0012] 现场滤波设备,与所述画面捕获设备连接,用于对接收到的现场直播画面执行统计排序滤波处理,以获得相应的现场滤波图像;
[0013] 数据分析设备,与所述现场滤波设备连接,用于接收所述现场滤波图像,并基于手部外形特征识别所述现场滤波图像中的各个手部对象;
[0014] 参数鉴别设备,与所述数据分析设备连接,用于对所述现场滤波图像中的每一个手部对象执行景深分析,以获得对应的手部景深;
[0015] 内容选择设备,分别与所述数据分析设备和所述参数鉴别设备连接,用于将手部景深浅于预设景深阈值的手部对象作为待处理对象;
[0016] 信号修正设备,与所述内容选择设备连接,用于在所述现场滤波图像中删除每一个待处理对象,并基于每一个待处理对象周围的图像内容对所述待处理对象在所述现场滤波图像中的成像区域的图像内容进行估算,以基于估算的图像内容填补所述待处理对象在所述现场滤波图像中的成像区域;
[0017] 视频输出设备,与所述信号修正设备连接,用于将进行内容替换后的所述现场滤波图像作为所述现场直播画面的修正视频画面输出;
[0018] 其中,基于每一个待处理对象周围的图像内容对所述待处理对象在所述现场滤波图像中的成像区域的图像内容进行估算包括:基于每一个待处理对象周围的各个图像分块的各个图像内容预测所述待处理对象在所述现场滤波图像中的成像区域的图像内容。
[0019] 本发明的基于数据分析的防遮挡处理系统结构简单、方便实用。由于能够对不同手部遮挡情况进行鉴别,从而实现对过于遮挡的手部的图像信号的修正,以提升直播画面质量。

实施方案

[0022] 下面将参照附图对本发明的基于数据分析的防遮挡处理系统的实施方案进行详细说明。
[0023] 图像处理用计算机对图像进行分析,以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。图像处理技术一般包括图像压缩,增强和复原,匹配、描述和识别3个部分。
[0024] 图像作为人类感知世界的视觉基础,是人类获取信息、表达信息和传递信息的重要手段。数字图像处理,即用计算机对图像进行处理,其发展历史并不长。数字图像处理技术源于20世纪20年代,当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片,采用了数字压缩技术。首先数字图像处理技术可以帮助人们更客观、准确地认识世界,人的视觉系统可以帮助人类从外界获取3/4以上的信息,而图像、图形又是所有视觉信息的载体,尽管人眼的鉴别力很高,可以识别上千种颜色,但很多情况下,图像对于人眼来说是模糊的甚至是不可见的,通过图象增强技术,可以使模糊甚至不可见的图像变得清晰明亮。
[0025] 在计算机中,按照颜色和灰度的多少可以将图像分为二值图像、灰度图像、索引图像和真彩色RGB图像四种基本类型。大多数图像处理软件都支持这四种类型的图像。
[0026] 图像的文件结构比较复杂,除了存放图像的二维矩阵外,还包括一个称之为颜色索引矩阵MAP的二维数组。MAP的大小由存放图像的矩阵元素值域决定,如矩阵元素值域为[0,255],则MAP矩阵的大小为256Ⅹ3,用MAP=[RGB]表示。MAP中每一行的三个元素分别指定该行对应颜色的红、绿、蓝单色值,MAP中每一行对应图像矩阵像素的一个灰度值,如某一像素的灰度值为64,则该像素就与MAP中的第64行建立了映射关系,该像素在屏幕上的实际颜色由第64行的[RGB]组合决定。也就是说,图像在屏幕上显示时,每一像素的颜色由存放在矩阵中该像素的灰度值作为索引通过检索颜色索引矩阵MAP得到。索引图像的数据类型一般为8位无符号整形(int8),相应索引矩阵MAP的大小为256Ⅹ3,因此一般索引图像只能同时显示256种颜色,但通过改变索引矩阵,颜色的类型可以调整。索引图像的数据类型也可采用双精度浮点型(double)。索引图像一般用于存放色彩要求比较简单的图像,如Windows中色彩构成比较简单的壁纸多采用索引图像存放,如果图像的色彩比较复杂,就要用到RGB真彩色图像。
[0027] 现有技术中,在主播进行视频直播操作时,由于摆动设备或其他原因,其手部成像区域会对直播画面造成一定的遮挡,如果手部在较远的景深区域,则遮挡效果可以忽略,不需要进行处理,而如果手部在较近的景深区域,其遮挡区域较大且遮挡内容较多,需要进行相应的直播画面的优化。
[0028] 为了克服上述不足,本发明搭建了一种基于数据分析的防遮挡处理系统,能够有效解决相应的技术问题。
[0029] 图1为根据本发明实施方案示出的基于数据分析的防遮挡处理系统所应用的现场直播画面的示例图。
[0030] 根据本发明实施方案示出的基于数据分析的防遮挡处理系统包括:
[0031] 画面捕获设备,用于获取本地直播设备抓取的现场直播画面,并输出所述现场直播画面;
[0032] 现场滤波设备,与所述画面捕获设备连接,用于对接收到的现场直播画面执行统计排序滤波处理,以获得相应的现场滤波图像;
[0033] 数据分析设备,与所述现场滤波设备连接,用于接收所述现场滤波图像,并基于手部外形特征识别所述现场滤波图像中的各个手部对象;
[0034] 参数鉴别设备,与所述数据分析设备连接,用于对所述现场滤波图像中的每一个手部对象执行景深分析,以获得对应的手部景深;
[0035] 内容选择设备,分别与所述数据分析设备和所述参数鉴别设备连接,用于将手部景深浅于预设景深阈值的手部对象作为待处理对象;
[0036] 信号修正设备,与所述内容选择设备连接,用于在所述现场滤波图像中删除每一个待处理对象,并基于每一个待处理对象周围的图像内容对所述待处理对象在所述现场滤波图像中的成像区域的图像内容进行估算,以基于估算的图像内容填补所述待处理对象在所述现场滤波图像中的成像区域;
[0037] 视频输出设备,与所述信号修正设备连接,用于将进行内容替换后的所述现场滤波图像作为所述现场直播画面的修正视频画面输出;
[0038] 其中,基于每一个待处理对象周围的图像内容对所述待处理对象在所述现场滤波图像中的成像区域的图像内容进行估算包括:基于每一个待处理对象周围的各个图像分块的各个图像内容预测所述待处理对象在所述现场滤波图像中的成像区域的图像内容。
[0039] 接着,继续对本发明的基于数据分析的防遮挡处理系统的具体结构进行进一步的说明。
[0040] 所述基于数据分析的防遮挡处理系统中:
[0041] 对所述现场滤波图像中的每一个手部对象执行景深分析,以获得对应的手部景深包括:获取组成手部对象的每一个像素点的景深值,将组成手部对象的各个像素点的各个景深值的均值作为所述手部对象对应的手部景深。
[0042] 所述基于数据分析的防遮挡处理系统中:
[0043] 所述内容选择设备内置有存储单元,用于存储所述预设景深阈值。
[0044] 所述基于数据分析的防遮挡处理系统中:
[0045] 在所述现场重分配设备中,所述第三耗电量占据所述系统耗电量的百分比与分配给第二辅助存储设备的可用电量成正比。
[0046] 所述基于数据分析的防遮挡处理系统中:
[0047] 所述参数鉴别设备具有串行通信接口,用于接收外部输入的串行通信数据。
[0048] 所述基于数据分析的防遮挡处理系统中:
[0049] 所述内容选择设备具有并行通信接口,用于接收外部输入的并行通信数据,所述并行通信接口的位数为8位或16位。
[0050] 所述基于数据分析的防遮挡处理系统中:
[0051] 所述信号修正设备与IIC控制总线连接,用于接收所述IIC控制总线发送的各种控制命令,所述各种控制命令用于分别配置所述信号修正设备的各个工作参数。
[0052] 所述基于数据分析的防遮挡处理系统中:
[0053] 所述参数鉴别设备、所述内容选择设备和所述信号修正设备共用同一时钟产生设备,所述时钟产生设备为一石英振荡器。
[0054] 所述基于数据分析的防遮挡处理系统中还可以包括:
[0055] 内容显示设备,与所述参数鉴别设备连接,用于接收并显示所述参数鉴别设备的工作状态;
[0056] 其中,所述内容显示设备还与所述内容选择设备连接,用于接收并显示所述内容选择设备的工作状态;
[0057] 其中,所述信号修正设备还包括内置存储单元,用于暂存所述信号修正设备的输入数据和输出数据。
[0058] 另外,图像滤波,即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,是图像预处理中不可缺少的操作,其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。
[0059] 由于成像系统、传输介质和记录设备等的不完善,数字图像在其形成、传输记录过程中往往会受到多种噪声的污染。另外,在图像处理的某些环节当输入的像对象并不如预想时也会在结果图像中引入噪声。这些噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般,噪声信号与要研究的对象不相关它以无用的信息形式出现,扰乱图像的可观测信息。对于数字图像信号,噪声表为或大或小的极值,这些极值通过加减作用于图像像素的真实灰度值上,对图像造成亮、暗点干扰,极大降低了图像质量,影响图像复原、分割、特征提取、图像识别等后继工作的进行。要构造一种有效抑制噪声的滤波器必须考虑两个基本问题:能有效地去除目标和背景中的噪声;同时,能很好地保护图像目标的形状、大小及特定的几何和拓扑结构特征。
[0060] 常用的图像滤波模式中的一种是,非线性滤波器,一般说来,当信号频谱与噪声频谱混叠时或者当信号中含有非叠加性噪声时如由系统非线性引起的噪声或存在非高斯噪声等),传统的线性滤波技术,如傅立变换,在滤除噪声的同时,总会以某种方式模糊图像细节(如边缘等)进而导致像线性特征的定位精度及特征的可抽取性降低。而非线性滤波器是基于对输入信号的一种非线性映射关系,常可以把某一特定的噪声近似地映射为零而保留信号的要特征,因而其在一定程度上能克服线性滤波器的不足之处。
[0061] 应当理解,本发明的各部分可以用硬件、软件、固件或他们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
[0062] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
[0063] 上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

附图说明

[0020] 以下将结合附图对本发明的实施方案进行描述,其中:
[0021] 图1为根据本发明实施方案示出的基于数据分析的防遮挡处理系统所应用的现场直播画面的示例图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号