编程日常 的子部分

1.1 网站收藏

文件格式相关

算法相关

x86/x64指令相关

游戏引擎相关

网络相关

设计模式

他人博客

Ffmpeg

计算机图形学

Linux

window

编译原理

其他

1.2 Ffmpeg 学习笔记

基本概念

ffmpeg 是一个用于处理视频、音频、图片等多媒体文件的工具。

ffmpeg 的主要功能有：

  1. 音视频格式转换
  2. 音视频编码
  3. 音视频裁剪
  4. 音视频混音
  5. 音视频转码
  6. 音视频水印
  7. 音视频拼接
  8. 音视频解码

AVPacket

AVPacket 是一个结构体，用于存储一个音频或视频数据包。

一个包里面包含音频或视频数据、时间戳、数据大小等信息。

通常内部包含一个或者多个AVFrame。

AVFrame

AVFrame 是一个结构体，用于存储一个音频或视频帧的数据。

读取基本流程

  • 打开文件封装实例
  • 查找流信息
  • 获取视频流索引
  • 查找音频流索引

找到对应的流关联的解码器ID，并分配一个解码器实例，拷贝源文件参数给解码器实例。 这只是打开文件封装实例，后续的解码操作都是基于这个封装实例。

  1. 打开文件封装实例
AVFormatContext *in_fmt_ctx ;
int ret = avformat_open_input(&in_fmt_ctx, src_name, NULL, NULL);
if (ret < 0) {
    av_log(NULL, AV_LOG_ERROR, "Can't open file %s.\n", src_name);
    return -1;
}
  1. 查找流信息
ret = avformat_find_stream_info(in_fmt_ctx, NULL);
if (ret < 0) {
    av_log(NULL, AV_LOG_ERROR, "Can't find stream information.\n");
    return -1;
}
  1. 获取视频流索引
    int video_stream_idx = -1;
    // 找到视频流的索引
    video_stream_idx = av_find_best_stream(in_fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if (video_stream_idx >= 0) {
        src_video = in_fmt_ctx->streams[video_stream_idx];
        enum AVCodecID video_codec_id = src_video->codecpar->codec_id;
        // 查找视频解码器
        AVCodec *video_codec = (AVCodec*) avcodec_find_decoder(video_codec_id);
        if (!video_codec) {
            qCritical() << "video_codec not found" << '\n';
            return -1;
        }
        video_decode_ctx = avcodec_alloc_context3(video_codec); // 分配解码器的实例
        if (!video_decode_ctx) {
            qCritical() << "video_decode_ctx is null" << '\n';
            return -1;
        }
        // 把视频流中的编解码参数复制给解码器的实例
        avcodec_parameters_to_context(video_decode_ctx, src_video->codecpar);
        ret = avcodec_open2(video_decode_ctx, video_codec, NULL); // 打开解码器的实例
        if (ret < 0) {
            qCritical() << "Can't open video_decode_ctx" << '\n';
            return -1;
        }
    }
  1. 查找音频流索引
    int audio_stream_idx = -1;
    audio_stream_idx = av_find_best_stream(in_fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
    if (audio_stream_idx >= 0) {
        src_audio = in_fmt_ctx->streams[audio_stream_idx];
        enum AVCodecID audio_codec_id = src_audio->codecpar->codec_id;
        // 查找音频解码器
        AVCodec *audio_codec = (AVCodec*) avcodec_find_decoder(audio_codec_id);
        if (!audio_codec) {
            qCritical() << "audio_codec not found" << '\n';
            return -1;
        }
        audio_decode_ctx = avcodec_alloc_context3(audio_codec); // 分配解码器的实例
        if (!audio_decode_ctx) {
            qCritical() << "audio_decode_ctx is null" << '\n';
            return -1;
        }
        // 把音频流中的编解码参数复制给解码器的实例
        avcodec_parameters_to_context(audio_decode_ctx, src_audio->codecpar);
        ret = avcodec_open2(audio_decode_ctx, audio_codec, NULL); // 打开解码器的实例
        if (ret < 0) {
            qCritical() << "Can't open audio_decode_ctx" << '\n';
            return -1;
        }
    }

目录

Ffmpeg 学习笔记 的子部分

2.1 ffmpeg 下载

简介

ffmpeg 是一个跨平台、开源的流媒体处理工具，可以用来转换、剪辑、混合、编码、解码、过滤、转换、播放、录制、分析视频、音频等。

对于初学者，下载已经搭配好的ffmpeg库即可。

学会ffmpeg 相关知识之后，可以自行学习编译ffmpeg。

注意： 编译开源库一般都比较困难，需要一定时间，请耐心等待。

windows 下载

Shift Media Project 旨在为FFmpeg及其相关依赖项提供原生Windows开发库，以支持在Visual Studio中直接更简单地创建和调试丰富媒体内容。

网址：https://shiftmediaproject.github.io

对于初学者，下载已经搭配好的ffmpeg库即可。

demo

下载完成，后可以通过如下代码测试是否成功。

注 编译器为c++ 编译。

#include<stdio.h>
extern "C" {
	#include <libavutil/avutil.h>
}

int main(int argc, const char* argv[]) {

	av_log(nullptr, AV_LOG_INFO, "FFmpeg version: %s\n", av_version_info());
	av_log(nullptr, AV_LOG_INFO, "FFmpeg configuration: %s\n", avutil_configuration());

	return 0;
}

2.2 查看流信息

说明

本示例演示如何使用 FFmpeg 获取音视频文件的流信息。

示例代码

#include<stdio.h>
extern "C" {
	#include <libavformat/avformat.h>
	#include <libavutil/avutil.h>
}


int main(int argc, const char* argv[]) {

	const char *filename = "F:\\ffmpeg-learn\\test.mp4";
    if (argc > 1) {
        filename = argv[1];
    }
    AVFormatContext *fmt_ctx = NULL;
    // 打开音视频文件
    int ret = avformat_open_input(&fmt_ctx, filename, NULL, NULL);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Can't open file %s.\n", filename);
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Success open input_file %s.\n", filename);
    // 查找音视频文件中的流信息
    ret = avformat_find_stream_info(fmt_ctx, NULL);
    if (ret < 0) {
        av_log(NULL, AV_LOG_ERROR, "Can't find stream information.\n");
        return -1;
    }
    av_log(NULL, AV_LOG_INFO, "Success find stream information.\n");
    const AVInputFormat* iformat = fmt_ctx->iformat;
    av_log(NULL, AV_LOG_INFO, "format name is %s.\n", iformat->name);
    av_log(NULL, AV_LOG_INFO, "format long_name is %s\n", iformat->long_name);

    av_dump_format(fmt_ctx,0,filename,0);
    // 关闭音视频文件
    avformat_close_input(&fmt_ctx);
    return 0; 
}

2.3 拷贝音视频文件

说明

本示例演示如何使用 FFmpeg 拷贝 音视频文件。

示例代码

extern "C" {
	#include <libavformat/avformat.h>
	#include <libavutil/avutil.h>
}

int main(int argc, const char* argv[]) {

	const char *src_name = "F:\\ffmpeg-learn\\test.mp4";
    if (argc > 1) {
        src_name = argv[1];
    }

    const char *dst_name = "F:\\ffmpeg-learn\\test_copy.mp4";
    
    // 打开文件,获取上下文
    AVFormatContext *in_ctx = nullptr;
    if( 0>avformat_open_input(&in_ctx, src_name, nullptr, nullptr)){
        printf("open file failed:%s\n",src_name);
        return -1;
    }

    printf("open file success:%s\n",src_name);
    //找到流
    if( 0>avformat_find_stream_info(in_ctx, nullptr)){
        printf("find stream info failed!\n");
        return -1;
    }
    

    // 找到视频流
    int video_stream_idx = av_find_best_stream(in_ctx, AVMEDIA_TYPE_VIDEO, -1,-1, nullptr, 0);
    if(video_stream_idx < 0){
        printf("find video stream failed!\n");
        return -1;
    }
    // 找到音频流
    int audio_stream_idx = av_find_best_stream(in_ctx, AVMEDIA_TYPE_AUDIO, -1,-1, nullptr, 0);
    if(audio_stream_idx < 0){
        printf("find audio stream failed!\n");
        return -1;
    }
    
    AVStream* video_stream = nullptr;
    AVStream* audio_stream = nullptr;
    video_stream = in_ctx->streams[video_stream_idx];
    audio_stream = in_ctx->streams[audio_stream_idx];
    

    // 创建输出上下文
    AVFormatContext *out_ctx = nullptr;
    if(0>avformat_alloc_output_context2(&out_ctx, nullptr, nullptr, dst_name)){
        printf("create output context failed!\n");
        return -1;
    }
    //打开输出流
    avio_open(&out_ctx->pb, dst_name, AVIO_FLAG_WRITE);
    {
        // 添加视频流
        AVStream *out_video_stream = avformat_new_stream(out_ctx, nullptr);
        avcodec_parameters_copy(out_video_stream->codecpar, video_stream->codecpar);
        out_video_stream->codecpar->codec_tag = 0;
        out_video_stream->time_base = video_stream->time_base;
        // 添加音频流
        AVStream *out_audio_stream = avformat_new_stream(out_ctx, nullptr);
        avcodec_parameters_copy(out_audio_stream->codecpar, audio_stream->codecpar);
        out_audio_stream->codecpar->codec_tag = 0;
    }
    
    // 写入头
   if(0> avformat_write_header(out_ctx, nullptr)){
        printf("write header failed!\n");
        return -1;
   }

    AVPacket *pkt= av_packet_alloc();
    while(av_read_frame(in_ctx, pkt) >= 0){
        if(pkt->stream_index == video_stream_idx){
            pkt->stream_index =0;
            av_interleaved_write_frame(out_ctx, pkt);
        }
        else if(pkt->stream_index == audio_stream_idx){
            pkt->stream_index =1;
            av_interleaved_write_frame(out_ctx, pkt);
        }
        av_packet_unref(pkt);
    }
    // 写入尾
    av_write_trailer(out_ctx);
    printf("copy success：%s\n",dst_name);
    av_packet_free(&pkt);
    avio_close(out_ctx->pb);
    avformat_free_context(out_ctx);
    avformat_close_input(&in_ctx);
    
    return 0;
}