-
公开(公告)号：CN119167895A
公开(公告)日：2024-12-20
申请号：CN202411649720.0
申请日：2024-11-19
Applicant: 北京智源人工智能研究院
IPC: G06F40/166 , G06N5/022
Abstract: 发明公开了一种大语言模型的知识编辑方法、装置和电子设备，涉及计算模型和人工智能技术领域。方法包括：利用随机前缀和第一隐藏状态计算大语言模型各编辑层的编辑历史的主体向量；利用第二隐藏状态计算大语言模型各编辑层的编辑历史的关系向量；利用编辑历史的主体向量、编辑历史的关系向量和整个模型层的协方差矩阵计算编辑层的输出权重的偏移量；利用偏移量更新编辑层的输出权重；利用更新的编辑层的输出权重对大语言模型的编辑层进行知识编辑。本方法只需要#imgabs0#存储空间，并允许将序列编辑方法转换为批处理编辑方法，从而减少序列编辑过程中对编辑模型的损坏，实现了轻损害知识编辑。该方法突破了现有技术中的编辑瓶颈问题，具有优越的性能。
-
公开(公告)号：CN118964530B
公开(公告)日：2024-12-20
申请号：CN202411439905.9
申请日：2024-10-15
Applicant: 北京智源人工智能研究院
IPC: G06F16/33 , G06F40/284 , G06F40/30 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于信息压缩的文本表示方法、装置和电子设备，涉及人工智能技术领域。方法包括：将当前文本分别进行分词和分段；将每个分词及该分词对应的分段的编号均转化为向量表示并求和，得到当前文本的文本表示；将上一文本的距离当前文本最近的若干个历史段落表示分别进行编号，将各历史段落表示的编号均转化为向量表示并与对应的历史段落表示求和，得到历史段落的输入表示；将历史段落的输入表示和当前文本的文本表示拼接得到隐状态表示；经过语言模型计算，输出当前文本的每个单词的最终编码表示。该方法节省了显存占用，模型处理窗口长度大大增长，在计算消耗上具有很大的优势；同时使得自注意力机制能够更准确地关注到目标词。
-
公开(公告)号：CN118964530A
公开(公告)日：2024-11-15
申请号：CN202411439905.9
申请日：2024-10-15
Applicant: 北京智源人工智能研究院
IPC: G06F16/33 , G06F40/284 , G06F40/30 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于信息压缩的文本表示方法、装置和电子设备，涉及人工智能技术领域。方法包括：将当前文本分别进行分词和分段；将每个分词及该分词对应的分段的编号均转化为向量表示并求和，得到当前文本的文本表示；将上一文本的距离当前文本最近的若干个历史段落表示分别进行编号，将各历史段落表示的编号均转化为向量表示并与对应的历史段落表示求和，得到历史段落的输入表示；将历史段落的输入表示和当前文本的文本表示拼接得到隐状态表示；经过语言模型计算，输出当前文本的每个单词的最终编码表示。该方法节省了显存占用，模型处理窗口长度大大增长，在计算消耗上具有很大的优势；同时使得自注意力机制能够更准确地关注到目标词。
-
公开(公告)号：CN118803262A
公开(公告)日：2024-10-18
申请号：CN202411287882.4
申请日：2024-09-14
Applicant: 北京智源人工智能研究院
IPC: H04N19/186 , H04N19/625 , H04N19/63 , H04N19/124
Abstract: 本发明公开了一种对图像tokenize的方法、装置和电子设备，属于人工智能技术领域。方法包括：对图像的三个通道分别进行时域‑频域转换，对应得到频域矩阵；利用与所述频域矩阵相同大小的量化表对频域矩阵进行量化，得到稀疏的整数矩阵；将量化后得到的稀疏的整数矩阵转化成符号序列；对转化得到的符号序列中高频共现的符号组合成为新的符号，得到新的符号序列，完成对图像的tokenize。该方法不仅解决了现有技术存在的核心不足，而且运行速度快，无需训练模型，实现和部署更简单方便；还可以通过调节高频、低频信息的保留和压缩比例，控制图像或视频的还原质量，可以灵活地适配到不同的领域和任务。
-
Patent Agency Ranking
公开(公告)号：CN118917378B
公开(公告)日：2025-02-07
申请号：CN202411397473.X
申请日：2024-10-09
Applicant: 北京智源人工智能研究院
IPC: G06N3/0895 , G06N3/0455 , G06T7/73
Abstract: 本发明公开了一种视觉大模型的预训练方法、装置和电子设备，属于人工智能技术领域。预训练方法包括：获取无标注的图像并进行分片以及遮蔽分片的处理，得到遮蔽处理图像；基于遮蔽处理图像，以总损失#imgabs0#为优化目标，对改进的视觉大模型进行预训练；改进的视觉大模型为在包含有编码器和解码器的标准视觉大模型的基础上，在编码器的输出位置引入位置预测模块得到的。改进的视觉大模型能够在预训练过程中同时关注图像的内容和结构，从而提高模型的泛化能力、对位置信息建模理解能力和对图像内容的理解能力，解决了现有的标准视觉大模型在空间结构理解方面的不足。本发明为计算机视觉任务提供更强大的预训练模型。
-
公开(公告)号：CN116739000A
公开(公告)日：2023-09-12
申请号：CN202310677729.1
申请日：2023-06-08
Applicant: 北京智源人工智能研究院
IPC: G06F40/30 , G06F40/126 , G06F16/35
Abstract: 本发明公开了用于复杂语境的言论抽取模型训练方法、装置和电子设备，属于语言智能处理技术领域。训练方法包括：构建标注有标签的言论内容变长文本为训练数据；利用训练数据对言论抽取模型进行训练，通过学习变长文本的语义表示以输出所述变长文本中每个单词的标签；利用输出的标签与标注的标签优化所述言论抽取模型的参数，以得到训练好的言论抽取模型。训练好的言论抽取模型能够在编码的词表示之上以一种更连续的方式适应具有不同结构的长跨度文本，不仅能够解决言论内容结构复杂和变长带来的抽取召回率和准确率低的问题，而且对于直接言论和间接言论的抽取都具有较高的召回率，模型的性能可以达到工业界可以实际使用的程度。
-
公开(公告)号：CN118803262B
公开(公告)日：2024-11-22
申请号：CN202411287882.4
申请日：2024-09-14
Applicant: 北京智源人工智能研究院
IPC: H04N19/186 , H04N19/625 , H04N19/63 , H04N19/124
Abstract: 本发明公开了一种对图像tokenize的方法、装置和电子设备，属于人工智能技术领域。方法包括：对图像的三个通道分别进行时域‑频域转换，对应得到频域矩阵；利用与所述频域矩阵相同大小的量化表对频域矩阵进行量化，得到稀疏的整数矩阵；将量化后得到的稀疏的整数矩阵转化成符号序列；对转化得到的符号序列中高频共现的符号组合成为新的符号，得到新的符号序列，完成对图像的tokenize。该方法不仅解决了现有技术存在的核心不足，而且运行速度快，无需训练模型，实现和部署更简单方便；还可以通过调节高频、低频信息的保留和压缩比例，控制图像或视频的还原质量，可以灵活地适配到不同的领域和任务。
-
公开(公告)号：CN118917378A
公开(公告)日：2024-11-08
申请号：CN202411397473.X
申请日：2024-10-09
Applicant: 北京智源人工智能研究院
IPC: G06N3/0895 , G06N3/0455 , G06T7/73
Abstract: 本发明公开了一种视觉大模型的预训练方法、装置和电子设备，属于人工智能技术领域。预训练方法包括：获取无标注的图像并进行分片以及遮蔽分片的处理，得到遮蔽处理图像；基于遮蔽处理图像，以总损失#imgabs0#为优化目标，对改进的视觉大模型进行预训练；改进的视觉大模型为在包含有编码器和解码器的标准视觉大模型的基础上，在编码器的输出位置引入位置预测模块得到的。改进的视觉大模型能够在预训练过程中同时关注图像的内容和结构，从而提高模型的泛化能力、对位置信息建模理解能力和对图像内容的理解能力，解决了现有的标准视觉大模型在空间结构理解方面的不足。本发明为计算机视觉任务提供更强大的预训练模型。
-
公开(公告)号：CN116340779A
公开(公告)日：2023-06-27
申请号：CN202310620027.X
申请日：2023-05-30
Applicant: 北京智源人工智能研究院
IPC: G06F18/214 , G06F40/289 , G06F40/30 , G06F40/211
Abstract: 本发明公开了一种下一代通用基础模型的训练方法、装置和电子设备，属于自然语言处理技术领域。通过在语言训练阶段利用原始数据训练模型，以使下一代通用基础模型能够基于输入的原始数据生成对应的统一数据；在教师训练阶段利用统一数据训练模型，以使下一代通用基础模型能够判断命题的正确性；对模型进行交替迭代的语言训练和教师训练，以得到训练好的下一代通用基础模型。该方法通过在训练过程中利用语言原始数据和任务感知数据，教导模型学习任务感知数据，同时强调它作为语言模型的作用。使用者可以利用本发明训练得到的单一模型来处理多项任务，无需针对各个任务进行额外的微调，建模成本低，模型泛化性强，可以提高业务表现的性能。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.053 seconds)
