iOS视频处理
在iOS中,apple提供了AVFoundation 用来处理音视频,基本能满足一些常用的音视频处理需求,而且能调用的硬件编解码接口,能提高不少效率,这是其它库所不能达到的。最近做过的Recnow SDK中已经集成了这些功能,像一些视频长度剪辑、视频插入、视频转场、添加配音、添加动画效果等,还有一些视频参数的改变,都可以使用AVFoundation比较轻松的实现。具体可以参照一下: https://developer.apple.com/library/ios/documentation/AudioVideo/Conceptual/AVFoundationPG/Articles/00_Introduction.html#//apple_ref/doc/uid/TP40010188
在对视频添加特效方面,就不得不提一下GPUImage了,作者是个牛人,github上star上万。
因为视频最终也是通过GPU,一帧一帧渲染到屏幕上的,所以我们可以利用opengl es,对视频帧进行各种加工,从而视频各种不同的效果,现在的各种美颜和视频添加特效的app都是这样实现的。
GPUImage实现了很多种滤镜功能,而且效率号称比apple 自己的CoreImage还要高一点,不过有一点不足的是这个库对音频的处理基本是捉襟见肘。
下面主要写一点对GPUImage的一些理解:
该库对视频采用的是一种链式的处理模式,如图所示
就好像一个水龙头流出的水,经过若干节管道,然后流向不同的目标。
该库定义了GPUImageOutput 作为视频源头进行输出,这是一个抽象父类,具体的一些类像GPUImageVideoCamera,GPUImageMovie等都是继承自它,这个类就好比水源。
定义了协议GPUImageInput,凡事遵守这个协议的类,都能处理视频流。GPUimageFilter 继承自GPUImageOutput,并且遵守GPUImageInput协议,它相当与一个管道,既能流进,又能流出。
这种设计模式很好的体现了面向协议编程,而不是面向实现,这样设计,方便更好的扩展性,在apple新发布的Swift中,协议变得可以扩展,更加方便面向协议编程。
经过的处理的视频流,定向到不同的target,可以渲染到屏幕或者生成视频文件,比如:GPUImageView。具体可以尝试一下自带的几个demo。GPUImageContext管理OpenGL ES上下文(该部分暂时略过)