-
公开(公告)号:CN120047624A
公开(公告)日:2025-05-27
申请号:CN202510209758.4
申请日:2025-02-25
Applicant: 上海交通大学
IPC: G06T17/00 , G06T7/73 , G06N3/045 , G06T3/4038 , G06N3/08
Abstract: 本发明提供基于多层次稠密姿态生成的三维人体姿态估计方法,包括:获取二维人体姿态,二维人体姿态为人体关节点的二维坐标;利用自回归姿态码元生成模型,按照从人体中心关节点到边缘关节点的顺序,根据二维人体姿态依次获得输入姿态生成码元和稠密姿态生成码元;通过解码器,根据稠密姿态生成码元生成第一层稠密化姿态,根据输入姿态生成码元和稠密姿态生成码元生成第二层稠密化姿态;将二维人体姿态、第一层稠密化姿态和第二层稠密化姿态拼接,输入Transformer得到三维姿态估计。本发明引入稠密二维姿态,极大提升三维人体姿态估计的准确度,能够使用单帧图像的姿态输入获得匹配多帧视频输入的准确率,缓解关节遮挡、部分肢体遮挡和深度不连续性等问题。
-
公开(公告)号:CN117354523A
公开(公告)日:2024-01-05
申请号:CN202311276043.8
申请日:2023-09-29
Applicant: 上海交通大学
IPC: H04N19/149 , H04N19/42 , H04N19/147 , H04N19/136 , G06T9/00 , G06N3/0455 , G06N3/0499 , G06N3/08
Abstract: 本发明公开一种频域特征感知学习的图像编码、解码、压缩方法,包括:通过频域特征感知学习模块组成的编码网络获取待编码图像的第一和第二特征图;获取第二特征图的超先验特征二进制码流及超先验信息;将第二特征图划分为多个通道分组;将每个通道分组的分布参化建模为高斯分布,通过基于Transformer的通道自回归熵模型来预测高斯分布的均值、方差;根据高斯分布对第二特征图进行概率估计,并进行算术编码,获得每个通道分组的特征二进制码流并合并为特征二进制码流,与超先验特征二进制码流合并,得到压缩图像二进制码流。本发明可以提取更为紧凑的隐变量,能够精确地对三维特征的分布进行建模和估计码率,提升图像压缩的率失真性能。
-
公开(公告)号:CN119324993A
公开(公告)日:2025-01-17
申请号:CN202411351185.0
申请日:2024-09-26
Applicant: 上海交通大学
IPC: H04N19/42 , G06N3/0455 , G06N3/08 , G06N3/0464 , G06F17/16 , G06F17/18 , G06T7/11
Abstract: 本公开提供一种图像压缩网络及及图像编码方法、解码方法、压缩方法,其中,图像压缩网络包括:编码网络、解码网络和熵模型;编码网络包括主编码网络和旁路编码网络,编码网络用于对待压缩图像编码,旁路编码网络采用正交线性约束;解码网络包括主解码网络和旁路解码网络,主解码网络和旁路解码网络并联连接,解码网络用于对压缩图像二进制码流进行解码,旁路解码网络采用正交线性约束;熵模型用于预测高斯分布的均值和方差。通过本公开,在图像压缩网络中引入旁路编码网络和旁路解码网络,高效减少端到端图像压缩网络的训练时间,在降低图像压缩码率开销的同时,提高重建图像的质量。
-
公开(公告)号:CN116884085A
公开(公告)日:2023-10-13
申请号:CN202310829392.1
申请日:2023-07-07
Applicant: 上海交通大学
IPC: G06V40/20 , G06V10/44 , G06V10/764
Abstract: 本发明提供一种动作提示的三维人体姿态估计方法和系统,包括:通过姿态编码器,从二维姿态序列中提取姿态位置特征、姿态序列特征和动作特征;根据姿态位置特征获得文本提示特征;对齐文本提示特征与动作特征,提取动作类别信息;选择对应动作类别信息的姿态提示特征,基于姿态提示特征与姿态序列特征间的相关性进行组合,得到增强姿态序列特征;将增强姿态序列特征通过线性映射得到三维姿态估计。本发明在姿态估计过程中,挖掘动作相关先验信息,引入动作相关文本、姿态特征的多模态信息,处理深度模糊问题;其即插即用模块,紧凑提取输入数据特征,节约网络模型参数量;显著提高含有自遮挡和复杂动作的姿态估计准确率,提升灵活性和可扩展性。
-
公开(公告)号:CN116229506A
公开(公告)日:2023-06-06
申请号:CN202310099078.2
申请日:2023-02-09
Applicant: 上海交通大学
Abstract: 本发明提供一种三维人体姿态估计方法和系统,包括:通过不同方式获取不同类别的关节点嵌入信息,即输入包含2D姿态信息的同时,获得绝对和相对的图拓扑距离信息;构造面向姿态的自注意力机制和Transformer网络;将每个关节点不同类别嵌入信息的总和作为token,输入到Transformer网络中,提取姿态相关的全局特征;根据提取到的全局特征,通过对关节点的不确定度进行估计,进行不确定度引导的采样操作和姿态改善操作,实现基于不确定度引导的改善。本发明在自注意力机制中引入图拓扑结构和不确定信息,处理深度模糊问题;构建的Transformer网络,能够紧凑提取输入数据特征,节约网络模型参数量;显著提高含有自遮挡和复杂动作的姿态估计准确率,具有很强的灵活性和可扩展性。
-
公开(公告)号:CN114501013A
公开(公告)日:2022-05-13
申请号:CN202210042520.3
申请日:2022-01-14
Applicant: 上海交通大学
IPC: H04N19/146 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/31 , H04N19/91 , G06T9/00 , G06V20/40 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供可变码率视频压缩方法、系统、装置及存储介质,包括:将参考帧图像通过卷积神经网络,得到参考帧的第一特征图,通过尺度缩放及可导量化得到参考帧的第二特征图,并进行逆缩放,得到重构的参考帧。将预测帧图像通过卷积神经网络,得到预测帧的第一特征图,通过尺度缩放及量化得到预测帧的第二特征图。将预测帧的第二特征图与参考帧的第二特征图相减,得到特征图残差;利用参考帧的第二特征图作为先验信息,对特征图残差进行无损熵编码,并传输至解码端;将特征图残差与参考帧的第二特征图相加并逆缩放后,通过卷积神经网络得到重构的预测帧。本发明利用尺度因子将特征图进行尺度缩放,从而得到不同码率质量对应的特征图。
-
公开(公告)号:CN113303894A
公开(公告)日:2021-08-27
申请号:CN202110718581.2
申请日:2021-06-28
Applicant: 上海理工大学 , 上海交通大学医学院附属新华医院
IPC: A61B17/70
Abstract: 本发明提供一种基于精密电机的体内脊柱矫形装置及系统,属于医疗器械领域,可以通过移动设备的矫正指令进行脊柱矫形,其特征在于,包括:外壳;两根生长棒,相背设置在外壳的壳体上,每个生长棒具有固定在壳体上的固定端以及用于固定在脊柱椎板上的伸缩端,可以进行伸缩;驱动模块,用于驱动生长棒的伸缩;微控制器,用于接收矫正指令并根据该矫正指令控制驱动模块转动。既避免了传统生长棒技术因反复开刀导致的伤口愈合不良及其他并发症,又保证了整个脊柱矫形的过程在体外监控下精确的运行,提升矫形系统的运行可靠度。
-
公开(公告)号:CN114501013B
公开(公告)日:2025-04-29
申请号:CN202210042520.3
申请日:2022-01-14
Applicant: 上海交通大学
IPC: H04N19/146 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/31 , H04N19/91 , G06T9/00 , G06V20/40 , G06V10/44 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明提供可变码率视频压缩方法、系统、装置及存储介质,包括:将参考帧图像通过卷积神经网络,得到参考帧的第一特征图,通过尺度缩放及可导量化得到参考帧的第二特征图,并进行逆缩放,得到重构的参考帧。将预测帧图像通过卷积神经网络,得到预测帧的第一特征图,通过尺度缩放及量化得到预测帧的第二特征图。将预测帧的第二特征图与参考帧的第二特征图相减,得到特征图残差;利用参考帧的第二特征图作为先验信息,对特征图残差进行无损熵编码,并传输至解码端;将特征图残差与参考帧的第二特征图相加并逆缩放后,通过卷积神经网络得到重构的预测帧。本发明利用尺度因子将特征图进行尺度缩放,从而得到不同码率质量对应的特征图。
-
公开(公告)号:CN119011858A
公开(公告)日:2024-11-22
申请号:CN202411009925.2
申请日:2024-07-26
Applicant: 上海交通大学
IPC: H04N19/42 , H04N19/59 , H04N19/91 , H04N19/124
Abstract: 本发明公开一种面向机器视觉的图像编码、解码和压缩方法及系统,包括:通过空频调制编码网络获得待编码图像的第一特征图;将所述第一特征图中的每个特征值量化为整数,得到第二特征图;将所述第二特征图的分布参数化建模为高斯分布,采用熵模型预测高斯分布的均值、方差;根据预测的所述高斯分布的均值、方差对第二特征图的特征进行概率估计,根据估计概率进行算术编码,获得压缩图像二进制码流。本发明可以高效提取面向机器视觉的下游任务更为需要的信息,减少对于机器视觉冗余的信息,能够降低图像压缩码率开销的同时,有效提升下游任务的精确度,且能够运用于现有的任一端到端图像压缩编解码网络和熵模型网络。
-
公开(公告)号:CN113989854A
公开(公告)日:2022-01-28
申请号:CN202111384850.2
申请日:2021-11-22
Applicant: 上海交通大学
IPC: G06V40/10 , G06V10/34 , G06V10/774 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , G06T7/73
Abstract: 本发明公开了一种三维人体姿态估计方法、系统、装置及介质,构建方法包括:通过对人体稠密表面的图拓扑结构进行粗化操作,得到不同粗化层次的图拓扑结构,该粗化图拓扑结构相较于人体骨架图拓扑结构更为稠密;结合人体骨架图拓扑结构,从稀疏到稠密,依次构建具有多条并行分支的图卷积神经网络;通过多尺度特征融合模块来连接不同分支,实现分支间的信息交互,构建得到层次化的图卷积神经网络。该三维人体姿态估计系统包括:层次化图卷积网络的构建单元、图卷积神经网络的训练单元及三维人体姿态估计单元,通过本发明,可以节约网络模型的参数量,并且能够显著提高含有自遮挡和复杂动作的姿态估计准确率。
-
-
-
-
-
-
-
-
-