一种基于视频-音频多模态深度学习的多人跳绳分析方法

    公开(公告)号:CN114463784B

    公开(公告)日:2024-09-03

    申请号:CN202210091782.9

    申请日:2022-01-26

    Inventor: 朱亮亮 熊杰

    Abstract: 本发明公开了一种基于视频‑音频多模态深度学习的多人跳绳分析方法,包括:获取跳绳过程的音像文件,并分离视频和音频,针对视频图像信号进行人像检测和提取,并对目标人像进行跟踪,提取目标人像的骨骼特征点坐标并进行预处理,获取单通道音频信号,将单通道音频信号进行切片和截取,并进行时频变换获得频谱信号和预处理,对预处理后的视频信号和音频信号融合得视频‑音频融合信号,将视频‑音频融合信号通过双向长短时记忆循环卷积神经网络和级联的全连接网络后,获得输出信号流并转化成方波信号,滤波后,对上升沿或下降沿进行统计分析。本发明能有效过滤非跳绳测试人员的干扰,做到更精确的跳绳统计分析。

    基于生成式人工智能的多媒体儿童绘本生成方法及系统

    公开(公告)号:CN117593922A

    公开(公告)日:2024-02-23

    申请号:CN202311569133.6

    申请日:2023-11-23

    Inventor: 朱亮亮 熊杰

    Abstract: 本发明公开了基于生成式人工智能的多媒体儿童绘本生成方法及系统,该方法包括:获取目标实体绘本所扫描后的图像,识别并提取图像中的文字信息;分析提取出主体、动作和相应的描述信息;检测图像中的主体物体,并和背景进行分离处理;根据检测出的主体物体,以及分析提取出的主体、动作和相应的描述信息,结合预设模板,生成Stable‑Diffusion模型的引导语;采用预训练过的Stable‑Diffusion模型,生成动态图像;并补全分离出的主体物体的背景画面;将动态图像输入SwinBERT视频摘要模块,获得对应的视频描述摘要;根据动态图像的内容或预先设置的内容,合成相应的旁白、对白或背景音,从而将静态画面的绘本转变为生成式的多媒体儿童绘本。该方法有助于为儿童提供个性化和交互性的体验。

    一种基于亲子空间的家庭画像构建方法

    公开(公告)号:CN112445872A

    公开(公告)日:2021-03-05

    申请号:CN202011338111.5

    申请日:2020-11-25

    Inventor: 池潇 熊杰 金炎芳

    Abstract: 本发明公开了一种基于亲子空间的家庭画像构建方法,包括:通过亲子空间中的亲关系构建社交图谱:根据所述社交图谱中节点之间的关联关系划分图谱,得到一个或多个子图;每个子图为一个家庭;对划分得到的多个家庭计算画像属性。该方法基于一种有效假设,即基于亲子空间的家庭画像能做到以家庭为单位的宝宝成长动态推送,推荐其潜在感兴趣的产品和服务,比如育儿小报推送、育儿产品推荐等;可显著提高以家庭为单位的用户活跃程度以及个性化推荐精度,进一步为家庭用户提供便捷服务,极大地提升用户体验质量。

    一种基于内容分析的视频精选合集的自动生成方法

    公开(公告)号:CN112445935B

    公开(公告)日:2023-07-04

    申请号:CN202011338142.0

    申请日:2020-11-25

    Inventor: 熊杰 金炎芳

    Abstract: 本发明公开了一种基于内容分析的视频精选合集的自动生成方法,包括:根据预设的筛选规则对原始视频进行初筛,获得多个原始视频片段;利用KTS算法将初筛后的视频内容划分为多个连续片段;利用fscn算法对各个连续片段进行视频精彩度分析,获得多个候选精彩连续片段;分别对各个候选精彩连续片段的图片质量、人脸检测与分析和年龄进行评分并分配权重,并结合视频内容鉴黄结果,对各个候选精彩连续片段进行最终打分;基于最终打分结果筛选出多个最终精彩连续片段;在各个最终精彩连续片段的衔接处添加特效及转场效果,生成视频精彩合集。本发明用户上传的原始视频内容进行整体分析、自动剪辑与合成,具有连贯性佳、呈现效果好的特点。

    一种基于亲子空间的家庭画像构建方法

    公开(公告)号:CN112445872B

    公开(公告)日:2023-04-07

    申请号:CN202011338111.5

    申请日:2020-11-25

    Inventor: 池潇 熊杰 金炎芳

    Abstract: 本发明公开了一种基于亲子空间的家庭画像构建方法,包括:通过亲子空间中的亲关系构建社交图谱:根据所述社交图谱中节点之间的关联关系划分图谱,得到一个或多个子图;每个子图为一个家庭;对划分得到的多个家庭计算画像属性。该方法基于一种有效假设,即基于亲子空间的家庭画像能做到以家庭为单位的宝宝成长动态推送,推荐其潜在感兴趣的产品和服务,比如育儿小报推送、育儿产品推荐等;可显著提高以家庭为单位的用户活跃程度以及个性化推荐精度,进一步为家庭用户提供便捷服务,极大地提升用户体验质量。

    一种基于深度学习的视频制作方法及系统

    公开(公告)号:CN117692716A

    公开(公告)日:2024-03-12

    申请号:CN202311717456.5

    申请日:2023-12-14

    Inventor: 朱亮亮 熊杰

    Abstract: 本发明涉及视频制作技术领域,具体涉及一种基于深度学习的视频制作方法及系统,方法包括:基于transformer模型对视频进行内容识别和自动分段,并对每个视频片段进行内容描述;基于transformer模型对图片进行内容识别和描述;之后,筛选出具有相关性或可构成情节逻辑的素材;使用大语言模型,生成故事大纲和剪辑蓝本;再进行自动配乐和动态视频素材的制作;最后根据剪辑蓝本结合所有生成的元素执行视频剪辑,合成最终的视频。本发明可对多媒体素材进行智能处理和自动化剪辑,提高制作效率,并降低视频制作门槛。

    一种排卵试纸类别检测方法

    公开(公告)号:CN110852357B

    公开(公告)日:2022-09-06

    申请号:CN201911019805.X

    申请日:2019-10-24

    Inventor: 熊杰 金炎芳

    Abstract: 本发明公开了一种排卵试纸类别检测方法。通过预处理步骤中的缩放、切割,提高算法速度并简化场景。通过预处理中的色偏检测和亮度检测,剔除色偏场景和异常亮度场景。通过预处理步骤中的自适应二值化,再统计水平投影,对异常场景剔除。接下来,进行红色区域检测及其区域限制,对异常场景进一步剔除,并统计参考区域和测试区域的红色信息。最后,通过对数据集的结果进行统计,给出强阳、阳和弱阳三种类别的阈值,再通过阈值和分类限制,最终给出试纸的类别:强阳、阳、弱阳、阴、无效。该套方案通过改进的扫描流程,以及改进的预处理步骤中的色偏检测、亮度检测、水平投影以及区域规则限制等,有效剔除色偏、光照异常、场景异常等非试纸场景。

    一种智能母婴知识服务方法及系统

    公开(公告)号:CN110867255A

    公开(公告)日:2020-03-06

    申请号:CN201911018142.X

    申请日:2019-10-24

    Inventor: 熊杰 金炎芳

    Abstract: 本发明公开了一种智能母婴知识服务方法及系统,该方法包括:周期性或实时采集大量的母婴数据信息,并储存在数据库中;所述母婴数据信息包括:母婴相关知识问题及相关知识答案;根据储存在数据库中的母婴数据信息,构建问答知识库;获取用户发送的母婴知识查询请求,将所述查询请求在所述问答知识库中查找相对应的信息;所述查询请求包括:用户问题;将查找的相对应的信息反馈给用户;本发明通过建立问答知识库,有效的解决了现有母婴知识服务方法不能完整的展现一种从孕妇备孕到孕妇分娩,再到孩子养育的全过程,缺乏人性化智能的展现方式,展现形式单一的问题。

    一种排卵试纸类别检测方法

    公开(公告)号:CN110852357A

    公开(公告)日:2020-02-28

    申请号:CN201911019805.X

    申请日:2019-10-24

    Inventor: 熊杰 金炎芳

    Abstract: 本发明公开了一种排卵试纸类别检测方法。通过预处理步骤中的缩放、切割,提高算法速度并简化场景。通过预处理中的色偏检测和亮度检测,剔除色偏场景和异常亮度场景。通过预处理步骤中的自适应二值化,再统计水平投影,对异常场景剔除。接下来,进行红色区域检测及其区域限制,对异常场景进一步剔除,并统计参考区域和测试区域的红色信息。最后,通过对数据集的结果进行统计,给出强阳、阳和弱阳三种类别的阈值,再通过阈值和分类限制,最终给出试纸的类别:强阳、阳、弱阳、阴、无效。该套方案通过改进的扫描流程,以及改进的预处理步骤中的色偏检测、亮度检测、水平投影以及区域规则限制等,有效剔除色偏、光照异常、场景异常等非试纸场景。

    一种智能化图像上传方法
    10.
    发明公开

    公开(公告)号:CN110838102A

    公开(公告)日:2020-02-25

    申请号:CN201911019062.6

    申请日:2019-10-24

    Inventor: 熊杰 金炎芳

    Abstract: 本发明公开了一种智能化图像上传方法,包括以下步骤:图像获取,注册用户信息,获取图像及拍摄时间,计算人物年龄;图像质量评估,对用户图像进行质量评估得到图像质量分数,筛选出符合图像质量阈值的图像;人脸检测,提取图像特征,预测人脸位置并通过人脸检测算法预测人脸的五个关键点,筛选出有人脸的图像;年龄检测,对图像进行人脸对齐并提取特征,通过提取的特征对年龄进行预测,筛选出符合年龄区间的图像;人脸识别,抽取人脸特征,计算图像与数据库所有人脸的相似度,筛选出人脸识别图像并加入上传队列进行上传。通过多种技术过滤用户上传图像,具有广泛适用性,显著提高了用户上传图像的整体质量。

Patent Agency Ranking