本发明是有关于一种用以判断轨迹行为的最佳相关匹配方法及系统，其是由视频资料流中的第一张影像及第二张影像中，找寻第一张影像中一区块在第二张影像中相对应的移动向量，其中，每一张影像由复数个区块以行及列方式所组成，每一区块包含以行及列方式组成的复数个像素，该方法是将该第二张影像的搜寻视窗区位置分为复数组子搜寻视窗，并由复数组子搜寻视窗中选取一组，以作为一执行搜寻视窗，再将一区块的中心点分别放置在该执行搜寻视窗中的所有位置，以执行一区块的像素与该第二张影像的像素的匹配运算，以减少匹配运算的次数。