IOS音视频开发相关笔记合集

采集

1. 通过AVCapture捕获摄像头拍摄内容并保存到相册
2. 通过AVCapture捕获麦克风录制内容
3. 通过AudioQueue采集麦克风音频
   
4. 通过ReplayKit+BroadcastUploadExtension直播录屏
   
5. 通过AVFoundation读取本地视频文件为SampleBuffer
6. 通过FFmpeg解码本地视频文件为AVFrame
7. 使用AudioUnit播放音频文件

编解码

1. 通过VideoToolBox对原始视频流进行H264编码
2. 通过VideoToolBox解码H264编码后的视频帧
3. 使用FFmpeg将yuv数据编码为h264数据
4. 使用FFmpeg将pcm数据编码为aac数据
5. 使用FFmpeg将h264数据解码为yuv数据
6. 使用FFmpeg将aac数据解码为pcm数据

处理

1. YUV与CVPixelBufferRef互转
2. 对CVPixelBufferRef作滤镜处理
3. 使用FFmpeg对视频进行滤镜处理
4. 通过AVFoundation组合多个视频文件

渲染

1. 使用OpenGLES渲染一张RGBA图片
2. 使用OpenGLES实现文字贴图
3. 通过AVFoundation添加字幕、贴图等动画效果