1.2 Ffmpeg 学习笔记

基本概念

ffmpeg 是一个用于处理视频、音频、图片等多媒体文件的工具。

ffmpeg 的主要功能有：

音视频格式转换
音视频编码
音视频裁剪
音视频混音
音视频转码
音视频水印
音视频拼接
音视频解码

AVPacket

AVPacket 是一个结构体，用于存储一个音频或视频数据包。

一个包里面包含音频或视频数据、时间戳、数据大小等信息。

通常内部包含一个或者多个AVFrame。

AVFrame

AVFrame 是一个结构体，用于存储一个音频或视频帧的数据。

读取基本流程

打开文件封装实例
查找流信息
获取视频流索引
查找音频流索引

找到对应的流关联的解码器ID，并分配一个解码器实例，拷贝源文件参数给解码器实例。这只是打开文件封装实例，后续的解码操作都是基于这个封装实例。

打开文件封装实例

AVFormatContext *in_fmt_ctx ;
int ret = avformat_open_input(&in_fmt_ctx, src_name, NULL, NULL);
if (ret < 0) {
    av_log(NULL, AV_LOG_ERROR, "Can't open file %s.\n", src_name);
    return -1;
}

查找流信息

ret = avformat_find_stream_info(in_fmt_ctx, NULL);
if (ret < 0) {
    av_log(NULL, AV_LOG_ERROR, "Can't find stream information.\n");
    return -1;
}

获取视频流索引

    int video_stream_idx = -1;
    // 找到视频流的索引
    video_stream_idx = av_find_best_stream(in_fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if (video_stream_idx >= 0) {
        src_video = in_fmt_ctx->streams[video_stream_idx];
        enum AVCodecID video_codec_id = src_video->codecpar->codec_id;
        // 查找视频解码器
        AVCodec *video_codec = (AVCodec*) avcodec_find_decoder(video_codec_id);
        if (!video_codec) {
            qCritical() << "video_codec not found" << '\n';
            return -1;
        }
        video_decode_ctx = avcodec_alloc_context3(video_codec); // 分配解码器的实例
        if (!video_decode_ctx) {
            qCritical() << "video_decode_ctx is null" << '\n';
            return -1;
        }
        // 把视频流中的编解码参数复制给解码器的实例
        avcodec_parameters_to_context(video_decode_ctx, src_video->codecpar);
        ret = avcodec_open2(video_decode_ctx, video_codec, NULL); // 打开解码器的实例
        if (ret < 0) {
            qCritical() << "Can't open video_decode_ctx" << '\n';
            return -1;
        }
    }

查找音频流索引

    int audio_stream_idx = -1;
    audio_stream_idx = av_find_best_stream(in_fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
    if (audio_stream_idx >= 0) {
        src_audio = in_fmt_ctx->streams[audio_stream_idx];
        enum AVCodecID audio_codec_id = src_audio->codecpar->codec_id;
        // 查找音频解码器
        AVCodec *audio_codec = (AVCodec*) avcodec_find_decoder(audio_codec_id);
        if (!audio_codec) {
            qCritical() << "audio_codec not found" << '\n';
            return -1;
        }
        audio_decode_ctx = avcodec_alloc_context3(audio_codec); // 分配解码器的实例
        if (!audio_decode_ctx) {
            qCritical() << "audio_decode_ctx is null" << '\n';
            return -1;
        }
        // 把音频流中的编解码参数复制给解码器的实例
        avcodec_parameters_to_context(audio_decode_ctx, src_audio->codecpar);
        ret = avcodec_open2(audio_decode_ctx, audio_codec, NULL); // 打开解码器的实例
        if (ret < 0) {
            qCritical() << "Can't open audio_decode_ctx" << '\n';
            return -1;
        }
    }

2.1 ffmpeg 下载

简介

ffmpeg 是一个跨平台、开源的流媒体处理工具，可以用来转换、剪辑、混合、编码、解码、过滤、转换、播放、录制、分析视频、音频等。

对于初学者，下载已经搭配好的ffmpeg库即可。

学会ffmpeg 相关知识之后，可以自行学习编译ffmpeg。

注意： 编译开源库一般都比较困难，需要一定时间，请耐心等待。

windows 下载

Shift Media Project 旨在为FFmpeg及其相关依赖项提供原生Windows开发库，以支持在Visual Studio中直接更简单地创建和调试丰富媒体内容。

网址：https://shiftmediaproject.github.io

对于初学者，下载已经搭配好的ffmpeg库即可。

demo

下载完成，后可以通过如下代码测试是否成功。

注编译器为c++ 编译。

#include<stdio.h>
extern "C" {
	#include <libavutil/avutil.h>
}

int main(int argc, const char* argv[]) {

	av_log(nullptr, AV_LOG_INFO, "FFmpeg version: %s\n", av_version_info());
	av_log(nullptr, AV_LOG_INFO, "FFmpeg configuration: %s\n", avutil_configuration());

	return 0;
}

2.2 查看流信息

说明

本示例演示如何使用 FFmpeg 获取音视频文件的流信息。

示例代码

#include<stdio.h>
extern "C" {
	#include <libavformat/avformat.h>
	#include <libavutil/avutil.h>
}


int main(int argc, const char* argv[]) {

	const char *filename = "F:\\ffmpeg-learn\\test.mp4";
    if (argc > 1) {
        filename = argv[1];
    }
    AVFormatContext *fmt_ctx = NULL;
    // 打开音视频文件
    int ret = avformat_open_input(&fmt_ctx, filename, NULL, NULL);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Can't open file %s.\n", filename);
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Success open input_file %s.\n", filename);
    // 查找音视频文件中的流信息
    ret = avformat_find_stream_info(fmt_ctx, NULL);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Can't find stream information.\n");
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Success find stream information.\n");
    const AVInputFormat* iformat = fmt_ctx->iformat;
    av_log(NULL, AV_LOG_INFO, "format name is %s.\n", iformat->name);
    av_log(NULL, AV_LOG_INFO, "format long_name is %s\n", iformat->long_name);

    av_dump_format(fmt_ctx,0,filename,0);
    // 关闭音视频文件
    avformat_close_input(&fmt_ctx);
    return 0; 
}

2.3 拷贝音视频文件

说明

本示例演示如何使用 FFmpeg 拷贝音视频文件。

示例代码

extern "C" {
	#include <libavformat/avformat.h>
	#include <libavutil/avutil.h>
}

int main(int argc, const char* argv[]) {

	const char *src_name = "F:\\ffmpeg-learn\\test.mp4";
    if (argc > 1) {
        src_name = argv[1];
    }

    const char *dst_name = "F:\\ffmpeg-learn\\test_copy.mp4";
    
    // 打开文件,获取上下文
    AVFormatContext *in_ctx = nullptr;
    if( 0>avformat_open_input(&in_ctx, src_name, nullptr, nullptr)){
        printf("open file failed:%s\n",src_name);
        return -1;
    }

    printf("open file success:%s\n",src_name);
    //找到流
    if( 0>avformat_find_stream_info(in_ctx, nullptr)){
        printf("find stream info failed!\n");
        return -1;
    }
    

    // 找到视频流
    int video_stream_idx = av_find_best_stream(in_ctx, AVMEDIA_TYPE_VIDEO, -1,-1, nullptr, 0);
    if(video_stream_idx < 0){
        printf("find video stream failed!\n");
        return -1;
    }
    // 找到音频流
    int audio_stream_idx = av_find_best_stream(in_ctx, AVMEDIA_TYPE_AUDIO, -1,-1, nullptr, 0);
    if(audio_stream_idx < 0){
        printf("find audio stream failed!\n");
        return -1;
    }
    
    AVStream* video_stream = nullptr;
    AVStream* audio_stream = nullptr;
    video_stream = in_ctx->streams[video_stream_idx];
    audio_stream = in_ctx->streams[audio_stream_idx];
    

    // 创建输出上下文
    AVFormatContext *out_ctx = nullptr;
    if(0>avformat_alloc_output_context2(&out_ctx, nullptr, nullptr, dst_name)){
        printf("create output context failed!\n");
        return -1;
    }
    //打开输出流
    avio_open(&out_ctx->pb, dst_name, AVIO_FLAG_WRITE);
    {
        // 添加视频流
        AVStream *out_video_stream = avformat_new_stream(out_ctx, nullptr);
        avcodec_parameters_copy(out_video_stream->codecpar, video_stream->codecpar);
        out_video_stream->codecpar->codec_tag = 0;
        out_video_stream->time_base = video_stream->time_base;
        // 添加音频流
        AVStream *out_audio_stream = avformat_new_stream(out_ctx, nullptr);
        avcodec_parameters_copy(out_audio_stream->codecpar, audio_stream->codecpar);
        out_audio_stream->codecpar->codec_tag = 0;
    }
    
    // 写入头
   if(0> avformat_write_header(out_ctx, nullptr)){
        printf("write header failed!\n");
        return -1;
   }

    AVPacket *pkt= av_packet_alloc();
    while(av_read_frame(in_ctx, pkt) >= 0){
        if(pkt->stream_index == video_stream_idx){
            pkt->stream_index =0;
            av_interleaved_write_frame(out_ctx, pkt);
        }
        else if(pkt->stream_index == audio_stream_idx){
            pkt->stream_index =1;
            av_interleaved_write_frame(out_ctx, pkt);
        }
        av_packet_unref(pkt);
    }
    // 写入尾
    av_write_trailer(out_ctx);
    printf("copy success：%s\n",dst_name);
    av_packet_free(&pkt);
    avio_close(out_ctx->pb);
    avformat_free_context(out_ctx);
    avformat_close_input(&in_ctx);
    
    return 0;
}

1.2 Ffmpeg 学习笔记

基本概念

AVPacket

AVFrame

读取基本流程

目录

Ffmpeg 学习笔记 的子部分

2.1 ffmpeg 下载

简介

windows 下载

demo

2.2 查看流信息

说明

示例代码

2.3 拷贝音视频文件

说明

示例代码

Ffmpeg 学习笔记的子部分