一种基于运行数据的风电机组多目标控制性能评估方法及装置，方法包括：根据预设的控制性能评估模型，获取机组运行数据，选择评估参数；根据预设的评估参数相互关系，确定评估参数的主观判断矩阵，得到主观权重；利用评估参数对应的参数数量及采样时间，构建评价矩阵，得到各评估参数对应的客观权重；根据主观权重及客观权重，确定各评估参数对应的组合权重；根据预设的评估参数设定值，确定各评估参数对应的方差，根据方差及组合权重，得到评估量化值。本发明使获得的主客观权重具有更强的合理性与针对性，避免了常规专家分析法的缺点，解决了技改前后和不同工况下控制评估设定值不一致的问题，实现对风电机组控制改造与优化效果进行量化评估。