动态旁路选择的多模态网络加速方法及系统

    公开(公告)号:CN118780368A

    公开(公告)日:2024-10-15

    申请号:CN202410856440.0

    申请日:2024-06-28

    Abstract: 一种动态旁路选择的多模态网络加速方法及系统,将原始多模态数据进行模态类型判断后分别进行旁路适配度评价处理或直接进行基础多模态模型层级推理,将适配度评价最高的旁路作为选择结果用于判断基础多模态模型层级推理的后续执行方案,将基础多模态模型层级推理得到的中间特征进行特征对齐并根据选择的旁路经过旁路处理生成旁路特征,将所有旁路特征融合后推理得到特化任务结果。本发明根据不同模态早期层级提供的特征可以提供足够正确预测需求的特点,构造改进的动态旁路选择方法,充分减少整体多模态网络计算量,降低延迟并提高部分精度。

    基于强化学习的面向微服务的资源管理系统

    公开(公告)号:CN112506657B

    公开(公告)日:2022-04-08

    申请号:CN202011425578.3

    申请日:2020-12-09

    Abstract: 一种基于强化学习的面向微服务的资源管理系统,包括:状态转化单元、资源分配决策单元以及管理方法评价单元,状态转化单元采集数据中心当前的运行状态信息、执行资源分配决策单元的动作以及将微服务之间的资源需求关系转化成资源二分图,资源分配决策单元通过二分图神经网络建模推导得到微服务资源性能特征,并且通过感知器网络得出可行的资源分配方案,管理方法评价单元采用反映数据中心资源的效益的标准生产总值指标评价资源分配方案的优劣性,通过比较在不同配置的资源分配决策单元下系统的GNP,实现资源分配方案的优化。本发明能够在资源受限的情况下,一方面能够保证微服务应用的时延要求,另一方面也可以最大化地利用数据中心资源,进而提升数据中心的执行能力和整体性能。

    基于强化学习的面向微服务的资源管理系统

    公开(公告)号:CN112506657A

    公开(公告)日:2021-03-16

    申请号:CN202011425578.3

    申请日:2020-12-09

    Abstract: 一种基于强化学习的面向微服务的资源管理系统,包括:状态转化单元、资源分配决策单元以及管理方法评价单元,状态转化单元采集数据中心当前的运行状态信息、执行资源分配决策单元的动作以及将微服务之间的资源需求关系转化成资源二分图,资源分配决策单元通过二分图神经网络建模推导得到微服务资源性能特征,并且通过感知器网络得出可行的资源分配方案,管理方法评价单元采用反映数据中心资源的效益的标准生产总值指标评价资源分配方案的优劣性,通过比较在不同配置的资源分配决策单元下系统的GNP,实现资源分配方案的优化。本发明能够在资源受限的情况下,一方面能够保证微服务应用的时延要求,另一方面也可以最大化地利用数据中心资源,进而提升数据中心的执行能力和整体性能。

    自主设备优化架构生成方法
    6.
    发明公开

    公开(公告)号:CN118760522A

    公开(公告)日:2024-10-11

    申请号:CN202410863781.0

    申请日:2024-06-29

    Abstract: 一种自主设备优化架构生成方法,根据优化指标、推理负载、架构约束和数据流策略进行能量收集建模和自主推理建模,从而刻画AuT供电系统和AuT推理系统的功能和行为;根据建立后的模型进行架构时序仿真,得到满足指定SWaP限制的自主边缘平台架构候选方案;再在其基础上进行基于软硬件配置优化的双层架构优化搜索,得到优化后的自主计算架构方案。本发明能够自动地为不同边缘人工智能应用场景生成一个定制的自主设备方案,包括自主供电系统和智能推理芯片,以提升边缘计算自主性;适用于任何自主设备的场景。

    基于原数据的SMG实现系统及方法

    公开(公告)号:CN117493043B

    公开(公告)日:2024-06-18

    申请号:CN202311482405.9

    申请日:2023-11-09

    Abstract: 一种基于原数据的SMG实现系统及方法,包括:设置于DSP输入端的原始数据缓存区、数据缓存区创建和控制模块、DSP控制处理模块、多模态选择模块和自适应多模态计算模块,原始数据缓存区临时存储来自传感器的原始模态数据,多模态选择模块通过神经网络判断原始模态数据中模态数据的重要度后,将重要的模态数据输出至DSP进行处理,数据缓存区创建和控制模块为应用实现创建、读、写数据缓存区,DSP控制处理模块提供系统调用,自适应多模态计算模块通过构建并训练神经网络后,在线根据输入的模态进行自适应的模态融合计算并给出计算结果。本发明通过预先进行多模态门控处理,对进入DSP的模态数据进行提前筛选,以保证不需要的模态数据不经过DSP,从而避免DSP造成不必要的能量和执行时间浪费。

    数据中心面向微服务的电力资源分配的方法和系统

    公开(公告)号:CN112241822B

    公开(公告)日:2022-07-12

    申请号:CN201910648600.1

    申请日:2019-07-18

    Abstract: 一种数据中心面向微服务的电力资源分配的方法和系统,基于二分图构建和维护用于指导微服务电力资源分配的模型,并计算每个微服务的关键程度,即微服务在当前状态下,在系统值得电力资源的程度,可以通过微服务在该电力资源分配情况下,是否会对整个应用的服务质量造成影响来衡量;通过检查当前时刻数据中心可用电力资源容量和每个微服务对应的资源分配情况,优先给关键程度高的微服务分配电力资源,从而在保证应用服务质量不变的情况下实现电力资源的优化分配。

    面向微服务的纳秒级电力资源分配方法和系统

    公开(公告)号:CN110825518A

    公开(公告)日:2020-02-21

    申请号:CN201910972406.9

    申请日:2019-10-14

    Abstract: 一种面向微服务的纳秒级电力资源分配方法及系统,采用灵活功耗预算方法根据每个微服务独特的功耗性能模型划分其对应的可分配的功率以消除宏观调控延迟;然后采用本地功耗调制设计绕过服务器系统层的功耗管理和控制程序,直接调用处理器片上的电压调制模块执行针对每个微服务的功耗分配过程以消除微观执行延迟;最后通过透明映射机制记录并更新灵活功耗预算方法以及本地功耗调制设计的调整结果,实现电力资源优化分配。本发明实现了充分地挖掘异构微服务带来的节能潜力,从而进一步打破传统数据中心节能限制的目标。

    数据中心中的非IT资源分配方法和系统

    公开(公告)号:CN108712480A

    公开(公告)日:2018-10-26

    申请号:CN201810411220.1

    申请日:2018-05-02

    Abstract: 一种数据中心中的非IT资源分配方法和系统,通过预先建立负载的效用曲线,并由各个节点独立定义其服务等级,即有各个节点定义其期望的性能,效用曲线可以将不同的服务等级需求映射成不同电力功率需求;通过检查当前时刻数据中心可用电力资源容量和所有节点请求的电力功率总量,根据初始化价格确定系统资源价格,即基准价格并广播至各个节点后对基准价格进行动态调整,从而实现优化分配。本发明通过各个节点动态分配资源请求实现整体能耗的利用率提升。

Patent Agency Ranking