多模态大型语言模型训练、装置、存储介质以及电子装置

    公开(公告)号:CN118690872A

    公开(公告)日:2024-09-24

    申请号:CN202410628558.8

    申请日:2024-05-20

    Applicant: 东南大学

    Abstract: 本发明公开一种多模态大型语言模型训练、装置、存储介质以及电子装置,其技术要点是:构建多模态数据集,并对其中的数据对进行严格过滤,以保证数据对的内容与文本描述紧密相关;使用筛选后的前述数据对,对学生模型中的特征对齐层进行预训练,以学习如何匹配图像的视觉特征和文本的语义特征,基于训练完毕的特征对齐层,进行多模态指令微调,进行多模态指令微调,使所述学生模型对所提出问题的回答与教师模型给出的多模态回答保持一致;进行多模态数据质量评估,生成多模态数据,以生成更多的新指令并将其与原始图像相结合,构建新的多模态指令数据集来训练所述学生模型,迭代增强所述学生模型的多模态能力。

    一种基于快照提示的多任务时空预测方法

    公开(公告)号:CN118607580A

    公开(公告)日:2024-09-06

    申请号:CN202410732068.2

    申请日:2024-06-06

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于快照提示的多任务时空预测方法,它结合了动态图预训练和与未来快照的多任务预测,由三个阶段组成:在预训练阶段,使用动态子图序列重新定义了预训练任务,并提出了基于自监督训练的多粒度演化图卷积,从动态图中提取局部和全局特征。在提示阶段,引入了一种新颖的子图提示方法,其中包括前提图中节点和边缘的可训练提示,能够更好地捕获未来快照的演化信息。在微调阶段,利用元学习来更新子图提示参数,使得提示能够有效地适应多样的下游任务。对真实世界数据集进行的大量实验证明了本方法取得了最先进的性能。

    一种潜在用户识别方法及相关装置

    公开(公告)号:CN118505275A

    公开(公告)日:2024-08-16

    申请号:CN202410776073.3

    申请日:2024-06-17

    Applicant: 东南大学

    Abstract: 本发明公开了一种潜在用户识别方法及相关装置,本发明关注影响用户决策的不同层面,获得更加细粒度的特征信息,在不同层面对用户节点进行分组,采用组内通用的特征信息更新用户节点特征信息实现信息的层次传递,针对每个用户节点进行特征信息拼接和聚合,获得用户节点完整且细粒度的特征信息,从而可准确判断用户是否为潜在用户,相较于传统方法,识别更加准确。

    一种带权错误检测的低功耗广域网抗干扰方法

    公开(公告)号:CN114050889B

    公开(公告)日:2023-09-26

    申请号:CN202111315589.0

    申请日:2021-11-08

    Applicant: 东南大学

    Inventor: 王帅 梅洛瑜

    Abstract: 本发明实现了一种带权错误检测的低功耗广域网抗干扰方法,设计带权重恢复的错误检测码,在接收端检测出错误后,利用投票权重算法进行数据包恢复。本发明无需修改任何硬件;与原始LoRa相比,当数据包具有81%的损坏时,本发明仍可以实现对数据包的准确解码,而计算时间仅增加了20%。

    面向POI的突发公共卫生事件重点区域预测方法及系统

    公开(公告)号:CN116525132A

    公开(公告)日:2023-08-01

    申请号:CN202310318142.1

    申请日:2023-03-29

    Applicant: 东南大学

    Abstract: 本发明公开了一种面向POI的突发公共卫生事件重点区域预测方法及系统,首先对待测城市的细粒度区域进行预测信息的收集与统计,并利用预测信息进行传染病模型构建,进行公共卫生事件演变规律的挖掘;针对演变规律,搭建公共卫生事件不可观测信息重建网络;以24小时为单位,构建以细粒度区域为节点的人口流动异质有向多图,基于异质有向图的特点,在空间上捕捉每个人口流动图内各区域间与关联区域的信息,得到每个人口流动图的空间嵌入表示;再根据24张人口流动图的时序关系,在时间维度进行各节点的信息融合,得到最终的城市细粒度区域嵌入表示,将其输入城市重点区域识别网络,得到各个细粒度区域潜在的风险等级,实现风险预测。

    一种基于联合学习的动态毫米波雷达点云人体解析方法

    公开(公告)号:CN116359846A

    公开(公告)日:2023-06-30

    申请号:CN202310236507.6

    申请日:2023-03-13

    Applicant: 东南大学

    Abstract: 本发明其所属技术领域为物联网感知,设计了一种基于联合学习的动态毫米波雷达点云人体解析方法,尤其是基于毫米波感知的人体解析。当前以人为中心的毫米波感知大多集中于动作识别、姿势估计等场景,但它们通常无法获取毫米波点云的语义信息,即无法分辨每个雷达点对应的身体部位信息,因此需要一种动态毫米波雷达点云人体解析方案。本方法的内容包括:对于毫米波点云数据,首先进行聚类,之后使用多任务学习模型联合执行人体解析和姿态估计任务进行特征提取,再通过非局部网络进行多任务特征融合,最终输出结果为是带注释语义标签的点云。

    基于混合无导数扩展卡尔曼滤波的USBL/SINS紧组合导航定位方法

    公开(公告)号:CN109324330B

    公开(公告)日:2022-11-18

    申请号:CN201811087892.8

    申请日:2018-09-18

    Applicant: 东南大学

    Abstract: 本发明提供的是一种基于混合无导数扩展卡尔曼滤波的USBL/SINS紧组合导航定位方法,特别适用于水下设备的定位。本发明由超短基线水声定位系统USBL和捷联惯性导航系统SINS组成,采用混合无导数扩展卡尔曼滤波HDEKF进行组合导航。超短基线系统通过计算超声波信号在应答器和水听器之间单向传播的时间,得到两者之间的斜距测量值,并通过坐标转换公式得到观测方程。再根据捷联惯导系统的误差传递公式建立误差状态方程。最后进行混合无导数卡尔曼滤波,使用标准线性卡尔曼滤波进行时间更新,使用无导数扩展滤波进行量测更新。本发明能有效提高USBL/INS组合导航系统的导航精度和稳定性,并减少实时计算量。

    基于深度学习的稀疏轨迹数据恢复系统及方法

    公开(公告)号:CN115017250A

    公开(公告)日:2022-09-06

    申请号:CN202210756912.6

    申请日:2022-06-30

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于深度学习的稀疏轨迹数据恢复系统及方法,包括:历史数据选择器模块用于接收用户的历史轨迹集合和当前稀疏轨迹,对历史轨迹数据进行周期性提取和特征归一化处理后,找到与当前稀疏轨迹最相似的历史轨迹;编码器模块通过轨迹数据的序列特征获得稀疏轨迹与历史轨迹的上下文向量,同时通过独热编码对环境上下文特征进行表示,用一个全连接网络学习特征的嵌入得到特征嵌入向量,将其与上下文向量融合作为解码器输入;解码器模块引入注意力机制建模稀疏轨迹与最相似历史轨迹的全局相关性,将稀疏轨迹恢复到目标采样率,与路网匹配任务共享参数,同步进行道路网络的地图匹配,实现稀疏轨迹的数据恢复,完善轨迹路径,提高工作效率。

    一种基于单目的鲁棒性视觉惯性紧耦合定位方法

    公开(公告)号:CN110030994B

    公开(公告)日:2022-08-05

    申请号:CN201910216776.X

    申请日:2019-03-21

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于单目的鲁棒性视觉惯性紧耦合定位方法,步骤包括:通过相机采集视觉数据,通过IMU单元采集惯性数据;进行IMU预积分,并得到IMU先验值;将所述IMU先验值代入视觉惯性联合初始化模型,完成参数的初始化;在所述参数的初始化所需时间内,利用连续关键帧之间的变换矩阵计算运动信息,带入视觉惯性融合定位框架的后端模块,实现紧耦合定位;参数的初始化完成后,转而将所述参数带入视觉惯性融合定位模型,计算得到运动信息,带入视觉惯性融合定位框架的后端模块,实现紧耦合定位。使用本发明提出的方法,初始化时间可缩短至10秒内,相比传统的基于ORB_SLAM2的单目视觉惯性定位系统,定位精度可提高约30%。

Patent Agency Ranking