【目标检测】视频输出体积太大?分析视频的编码与码率问题

2023-12-18 14:50:00

在做视频目标检测时,发现一个问题,检测输出完的视频时大时小,有时输出体积过大,造成播放器播放时严重卡顿现象。本文就这一情况进行分析,并就该问题提出相关解决方案。

视频基础知识

隔行扫描和逐行扫描

早期电视台在传输节目信息时,由于带宽有限,于是想在带宽不变的情况下,增加图像的分辨率,让画面看起来更清晰,于是就采用隔行扫描的方式,如下图所示[1],第一帧扫描奇数行的数据,第二帧扫描偶数行的数据,交替进行。由于视觉暂留,在人眼看来就是完整的视频图像。

在这里插入图片描述
隔行扫描1920x1080分辨率的视频也简称1080i,逐行扫描则称为1080p。

现在的带宽已经能满足绝大多数逐行扫描的视频,因此隔行扫描逐渐被淘汰,后文所提视频也均是逐行扫描视频。

视频分辨率

视频分辨率指的是每一帧画面有多少像素点,目前广泛采用的标准有720p、1080p、2K、4K。比如,2K分辨率的长边大于2000,就可称2k分辨率。下表是电视标准的分辨率标准[1],与手机之类的2k、4K分辨率数值不一定相同。
在这里插入图片描述

视频帧率

帧率很简单,即一秒钟播放多少帧画面,比如30FPS表示一秒钟播放30帧画面。

但在很多机器上,比如大疆的机器上,设置30FPS之后,实际拍摄的视频却是29.97帧;设置60FPS之后,实际拍摄的视频是59.94帧。

这个现象是由于NTSC彩色电视标准制定时,由于声音信息和电视信号过于接近,容易产生干扰,因此,把电视信号的帧率减小千分之一,导致这一情况出现[2]。

在这里插入图片描述

视频格式

在使用不同的摄像录制视频时,会有不同的格式,比较常见的是MP4、MOV、AVI等格式,这些格式被称作封装格式,相当于视频的一个大容器。这些格式多数可以相互转换,对于视频本身起决定作用的是视频的编码格式。

视频编码本质是对视频的压缩,如果视频不进行压缩,所需要的存储量是极其恐怖的,以1080P格式视频为例:

一帧画面包含像素点=1920x1080=2,073,600个像素点;
每个像素包含RGB三个通道,用3个字节(byte)存储;
那么一帧画面所需要的存储体积=2,073,600*3/1024/1024≈5.7M

因此,对视频编码十分必要,下面是常见封装格式的视频编码类型[3]:

在这里插入图片描述

视频压缩

上述这些视频编码都是通过压缩视频的画面帧来减小视频的体积,视频压缩包括帧内压缩和帧间压缩。

  • 帧内压缩

帧内压缩就是对单帧图像进行压缩,以JPEG压缩方法为例[3],人眼对亮度比较敏感,对颜色不太敏感,因此算法尽可能保留明度信息,而压缩色度信息。

在这里插入图片描述

  • 帧间压缩

帧间压缩是利用连续帧的时序信息,对视频进一步压缩。以H.264视频编码为例[3],它将视频分成I帧,P帧和B帧。I帧即通过帧内压缩得到的压缩视频帧,P帧是利用相邻I帧之间的运动变化关系,预测得到;B帧是利用相邻P帧进一步双向预测得到。

在这里插入图片描述
通过这样两步操作,让视频的体积大大减小。

视频码率

虽然上述视频编码方式能够极大压缩视频体积,不过影响视频质量关键因素还包括码率。如果采用固定码率进行编码,如果视频太过复杂,比如很多随机粒子,就会让视频看起来非常模糊。

视频码率又称比特率(bitrate),表示视频每秒所包含的数据量。常见的码率可分为固定码率(CBR)/可变码率(VBR)/固定质量(CRF)/平均码率(ABR)/固定量化参数(CQP)等。

固定码率即码率恒定,优点是码率可控,缺点是简单场景码率冗余,复杂场景码率不够用,因此用的不多。

可变码率是指码率按需进行分配,简单场景码率低,复杂场景码率高,用的最多,在PR中,还提供了VBR2次编码的选项,即包含一个目标码率和一个最大码率,因此VBR被广泛使用。

在这里插入图片描述

OpenCV视频编码

了解完上述基础知识后,不难发现,在视频分辨率和帧率固定的基础上,视频体积的大小主要取决于视频的编码格式和码率。

在OpenCV中,通过cv2.VideoWriter_fourcc来定义视频编码,例如*'mp4v'是采用MPEG-4的编码形式:

vid_writer[i] = cv2.VideoWriter(save_path, cv2.VideoWriter_fourcc(*'mp4v'), fps, (w, h))

此外,它还支持以下编码格式:

H.264 / AVC:

  • H264
  • X264
  • AVC1

H.265 / HEVC:

  • HEVC
  • H265
  • X265

MPEG-4:

  • MP4V
  • DIVX

Motion JPEG:

  • MJPG

MPEG-1:

  • MPG1

MPEG-2:

  • MPG2

XVID:

  • XVID

WMV:

  • WMV1
  • WMV2

视频码率修改

虽然OpenCV可以自定义编码方式,但无法直接修改码率,这导致有些视频输出之后,码率变得极大,比如这段12秒中的1080p视频,码率达到71150kps,整个文件110M大小。

在这里插入图片描述
在Python,可以通过两种方式去修改视频码率。

第一种方式是通过调用FFmpeg的方式,示例:

import subprocess

# 输入和输出视频文件路径
input_video = 'input.mp4'
output_video = 'output.mp4'

# 设置比特率(这里设置为1000k)
bitrate = '1000k'

# 构建 FFmpeg 命令
ffmpeg_command = f'ffmpeg -i {input_video} -b:v {bitrate} {output_video}'

# 运行 FFmpeg 命令
try:
    subprocess.run(ffmpeg_command, shell=True, check=True)
    print("视频重新编码成功!")
except subprocess.CalledProcessError as e:
    print(f"视频重新编码失败: {e}")

不过该方式需要提前下载安装FFmpeg方式,并不是很便利。

第二种方式是直接调用moviepy库,底层也是使用FFmpeg,不过无需下载安装:
示例:

import os
from moviepy.editor import VideoFileClip

# 指定视频文件所在文件夹路径
videos_directory = "cs1/"
videos_save = "cs2"

# 设置目标比特率(kbps)
target_bitrate = "20208k"  # 例如,设置为 20208 kbps

# 遍历指定文件夹中的所有视频文件
for file in os.listdir(videos_directory):
    if file.endswith(".mp4") or file.endswith(".avi") or file.endswith(".mov"):
        # 构建视频文件的完整路径
        file_path = os.path.join(videos_directory, file)
        # 读取视频文件
        clip = VideoFileClip(file_path)
        # 写入视频文件并设置比特率
        output_file = os.path.join(videos_save, file)
        clip.write_videofile(output_file, codec='libx264', bitrate=target_bitrate)
        print(f"视频 {file} 处理完成并写入 {output_file}")

print("批量处理完成")

由于视频编码默认采用的是VBR,因此尽管这里设置了目标码率为20208kbps,实际输出码率为21187kps,会接近目标码率,但并非固定。

在这里插入图片描述
通过这样处理之后,视频本身的观感影响不大,但体积减小了2/3。

更进一步,可以将修改码率的操作和保存视频的流程结合起来,下面是解决实际需求,需要对视频裁剪的同时,根据原视频的码率修改输出的视频。

下面的代码是保存多个文件,尝试过对单帧处理时直接修改码率,不过会出问题,因为码率需要考虑视频连续帧的情况,因此只能全部做完上一步,再统一处理码率问题。

import cv2
from moviepy.editor import VideoFileClip


def get_original_bitrate(input_video):
    cap = cv2.VideoCapture(input_video)
    if not cap.isOpened():
        print("无法打开视频文件")
        return None
    # 获取视频的原始比特率
    original_bitrate = cap.get(cv2.CAP_PROP_BITRATE)
    # 释放资源
    cap.release()
    return original_bitrate

def crop_video(input_video, output_video, target_bitrate):
    # 对视频进行空间上的裁剪(使用 OpenCV)
    cap = cv2.VideoCapture(input_video)
    if not cap.isOpened():
        print("无法打开视频文件")
        return

    # 获取视频的基本信息
    fps = cap.get(cv2.CAP_PROP_FPS)
    frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

    # 设置输出视频的编解码器和写入对象
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    out = cv2.VideoWriter(output_video, fourcc, fps, (894, 710))

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # 对每一帧进行裁剪
        cropped_frame = frame[161:871, 493:1387]  # 这里是你想要的空间裁剪区域的坐标

        # 写入裁剪后的帧到输出视频文件
        out.write(cropped_frame)

    # 释放资源
    cap.release()
    out.release()
    cv2.destroyAllWindows()

    # 读取视频文件
    clip = VideoFileClip(output_video)
    output_video2 = output_video.replace('.mp4', '_Update.mp4')
    # 保存裁剪和修改比特率后的视频
    clip.write_videofile(output_video2, codec='libx264', bitrate=target_bitrate)


if __name__ == '__main__':
    # 输入视频文件路径
    input_video_path = 'Video.mp4'
    # 输出视频文件路径
    output_video_path = input_video_path.replace('.mp4', '_Crop.mp4')
    # 获取视频的原始比特率
    original_bitrate = get_original_bitrate(input_video_path)
    # 设置目标比特率
    original_bitrate = str(int(original_bitrate)) + 'k'
    # 调用函数进行视频裁剪和修改比特率
    crop_video(input_video_path, output_video_path, original_bitrate)

视频推荐编码参考

码率越低,视频体积越小。然而,当码率过低时,会影响到视频本身的清晰度。

下表是两大主流视频平台的推荐码率,低于该码率可能会影响视频质量,高出太多则会触发平台二次压缩,对视频创作者来说,具有参考价值。

在这里插入图片描述

在这里插入图片描述

参考

[1] 你知道什么是逐行扫描与隔行扫描吗?https://www.bilibili.com/video/BV1Xu411B7x8/
[2] 影视飓风将停止制作25帧视频 https://www.bilibili.com/video/BV1hp4y1f7B5/
[3] 【科普】“视频”是怎么来的?H.264、码率这些词又是什么意思? https://www.bilibili.com/video/BV1nt411Q7S6

文章来源:https://blog.csdn.net/qq1198768105/article/details/134916654
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。