公开(公告)号：CN116933783A

公开(公告)日：2023-10-24

申请号：CN202310690365.0

申请日：2023-06-12

Applicant: 上海市研发公共服务平台管理中心

Inventor： 何军 ,  赵燕 ,  胡俊松 ,  徐旻昕

IPC: G06F40/289 ,  G06F40/216 ,  G06F40/242 ,  G06F16/901 ,  G06F16/903 ,  G06N3/047 ,  G06N3/044

Abstract: 本发明涉及分词算法技术领域，提供了一种基于最大似然概率的科技词汇分词方法，包括以下步骤：S1：获取与待分词的科技词汇输入字符串相同领域的离线词典，所述离线词典包括词和词频在内的两列；S2：基于所述离线词典在内存中构建所述待分词的科技词汇输入字符串的前缀词典；S3：在所述前缀词典的基础上，对所述待分词的科技词汇输入字符串进行切分，构建有向无环图；S4：基于所述有向无环图获取所述待分词的科技词汇输入字符串的所有的分词路径，计算所述分词路径中似然概率最大的所述分词路径作为所述待分词的科技词汇输入字符串的分词结果。基于最大似然概率，计算出最优的切分路径，获取最优的分词结果。