视频相似度对比 python opencv sift flann

?提取SIFT特征的代码，返回关键点kp及特征描述符des

def SIFT(frame):
    # 创建SIFT特征提取器
    sift = cv2.xfeatures2d.SIFT_create()

    # 提取SIFT特征
    kp, des = sift.detectAndCompute(frame, None)

    return kp, des

这行代码是使用SIFT（Scale-Invariant Feature Transform）算法在图像中检测关键点并计算对应的特征描述符。

在这行代码中，sift是一个SIFT特征提取器的实例，detectAndCompute是它的一个方法，用于在给定的图像中检测关键点并计算特征描述符。

这个方法有两个参数：第一个参数是输入的图像，第二个参数是一个掩码，用于指定在哪些地方检测关键点。在这个例子中，我们没有使用掩码，所以第二个参数是None。

这个方法返回两个值：kp和des。

• kp是一个列表，包含了在图像中检测到的所有关键点。每个关键点是一个KeyPoint对象，包含了关键点的位置、大小、角度、响应度等信息。

• des是一个NumPy数组，包含了每个关键点的特征描述符。每个特征描述符是一个128维的向量，可以用于比较不同关键点（或来自不同图像的关键点）的相似性。

总的来说，这行代码的作用就是使用SIFT算法提取图像的关键点和特征描述符，这些关键点和特征描述符可以用于图像匹配、物体检测、图像识别等任务。

特征描述匹配算法

FlannBasedMatcher?是 OpenCV 中的一个特征匹配方法，它使用了近似最近邻搜索算法（Approximate Nearest Neighbors，简称 FLANN）来寻找特征之间的匹配。这种方法的主要优点是它在大规模数据集上的性能非常好，尤其是在处理高维特征（例如 SIFT 或 SURF）时。

FLANN 是一种优化的最近邻搜索算法，它可以在高维空间中快速找到查询点的最近邻。传统的最近邻搜索算法（例如暴力搜索）在高维空间中的性能往往很差，因为它们需要对每一个可能的匹配进行计算，这在处理大规模数据集时会变得非常慢。FLANN 通过使用一种叫做 k-d 树的数据结构，以及一种叫做优先级搜索的策略，来大大加快搜索速度。

FLANN 的另一个优点是它可以自动选择最优的搜索算法和参数，这使得它可以在各种不同的数据集和特征类型上都有很好的性能。然而，这也意味着 FLANN 可能需要一些时间来调整这些参数，因此在小规模数据集上，FLANN 可能不如其他更简单的方法（例如暴力搜索或基于哈希的方法）快。

总的来说，FlannBasedMatcher?的主要优势是它在处理大规模、高维特征数据集时的性能和效率。然而，这也意味着它可能不适合所有的应用场景，尤其是在数据集较小或特征维度较低的情况下。

# 近似匹配
# 近似最近邻搜索算法来找到最佳匹配
def FlannMatcher(des1, des2):
    # 创建FLANN匹配器
    FLANN_INDEX_KDTREE = 1
    index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)  # KD树索引 树的数量5
    search_params = dict(checks=50)  # 回溯查找的次数
    flann = cv2.FlannBasedMatcher(index_params, search_params)

    # 使用FlannBasedMatcher比较特征描述符
    matches = flann.knnMatch(des1, des2, k=2)

    # 应用比例测试（ratio test）来选择好的匹配
    good_matches = []
    for m, n in matches:
        if m.distance < 0.7 * n.distance:
            good_matches.append([m])

    return good_matches

根据视频流取帧进行特征对比

def process(path1, path2):
    # 读取视频
    cap1 = cv2.VideoCapture(path1)
    cap2 = cv2.VideoCapture(path2)
    index = 0
    # matches_over_time 根据时序得到特征匹配结果
    # scores 记录每个匹配的得分情况 根据 最佳匹配/提取特征数 计算
    matches_over_time, scores = [], []
    while True:
        index = index + 1
        # 读取第一帧
        ret1, frame1 = cap1.read()
        ret2, frame2 = cap2.read()
        if not ret1:
            break
        if not ret2:
            break
        if index % 25 != 0:  # 每秒一帧进行采样
            continue
        # 如果成功读取帧
        if ret1 and ret2:
            kp1, des1 = SIFT(frame1)
            kp2, des2 = SIFT(frame2)
            good_matches = FlannMatcher(des1, des2)
            matches_over_time.append(good_matches)
            # 计算得分
            score = len(good_matches) / min(des1.shape[0], des2.shape[0])
            scores.append(score)
    # 释放资源
    cap1.release()
    cap2.release()
    return matches_over_time, scores

# 主函数调用
if __name__ == '__main__':
    path1 = 'video_base.mp4'
    path2 = 'video_origin.mp4'
    t1 = int(time.time() * 1000)
    matches, scores = process(path1, path2)
    t2 = int(time.time() * 1000)
    print(f"用时 {(t2-t1)/1000.0}s")
    total_score = sum(scores) / len(scores)
    print(f"相似度得分 {round(total_score, 7)}")
    # cv2.destroyAllWindows()