针对源代码生成器的译码活动任务(CAT)评估

    公开(公告)号:CN119053946A

    公开(公告)日:2024-11-29

    申请号:CN202380035253.X

    申请日:2023-03-24

    Abstract: 用于评估源代码生成器的解决方案使用离线和在线评估阶段。离线评估包括将软件代码的多个输入段中的每个输入段分离成多个构成块。(多个代码生成器中的)每个代码生成器生成与每个构成块对应的等效块。(对于每个代码生成器)译码分数针对每个等效块被确定,并且该译码分数跨等效块被聚合,以针对每个代码生成器提供聚合分数。聚合分数的排名被用于针对在线评估筛选更少数目的代码生成器。对于该阶段,代码生成器输出软件代码的段,并且代码生成器的输出的用户接受可以被用于进一步的排名和筛选。一些示例根据针对其生成等效块的构成块的代码效用评估来加权译码分数。

Patent Agency Ranking