基于狄式过程的卡尔曼滤波词向量学习方法
摘要:
一种基于狄式过程的卡尔曼滤波词向量学习方法,所述方法包括:对语料进行训练和预处理,生成LDS语言模型系统,对系统参数进行初始化,假设过程噪声满足正态分布,定义聚类θt=(μt,∑t),μt为语料库中词t出现的频率,计算θt的狄利克雷先验分布,通过卡尔曼滤波推导和Gibbs抽样估计计算后验分布,利用MCMC抽样算法抽取备选聚类,计算备选聚类的选择概率,并选择所述概率值最高的备选聚类作为θt,计算所述聚类的最小均方误差估计值,将计算结果代入LDS语言模型,通过EM算法训练模型,使模型参数达到稳定,将预处理好的语料输入训练好的LDS语言模型,通过卡尔曼滤波器一步更新公式进行计算隐含向量表示。
公开/授权文献
0/0