iOS音视频同步探讨
beijingmei
8年前
<p>音视频同步是我们观看视频的一个基本体验，尤其对于视频画面中能看到声源动作（如：嘴型）的场景，音视频同步问题非常影响体验。</p> <p>在短视频与直播APP中，采集端作为音视频的生产者，如果采集端产生的音视频源本身就无法保证同步，那么后面不管经过什么处理，都很难再让用户看到音视频同步的画面了，因此，在采集端保证音视频同步上尤其重要。</p> <p>那么如何保证app在各种正常/非正常状况下尽量保证输出同步的音视频？本文就是讲述我们是如何解决上述问题的。</p> <p>音视频同步的原理</p> <p>音视频采集的数据分别来自于麦克风与摄像头，而摄像头与麦克风其实是两个独立的硬件，而音视频同步的原理是相信摄像头与麦克风采集数据是实时的，并在采集到数据时给他们一个时间戳来标明数据所属的时间，而编码封装模块只要不改动音视频时间的相对关系就能保证音频与视频在时间上的对应。如此封装好数据之后，播放端就能够根据音视频的时间戳来播放对应的音视频，从实现音视频同步的效果。</p> <p>时间戳参考标准</p> <ul> <li>取格林威治时间做为对比标准，即音视频时间戳都为采集时间点相对于格林威治标准时间的时间差</li> <li>取系统开机时间做为对比标准，即音视频时间戳都是采集时间点相对于手机开机时间的时间差。目前iOS上AVCaptureSession这套API就是参考这个时间标准给的时间戳</li> <li>其它时间戳标准</li> </ul> <h2>基于“开源项目1”的音视频同步探讨</h2> <ul> <li> <p>原生某开源框架</p> <ul> <li>如图：</li> </ul> <p style="text-align:center"><img src="https://simg.open-open.com/show/739435aa0160ba1a3cfa530b6d9f1e55.png"></p> <ul> <li> <p>简介</p> <ul> <li> <p>音/视频被采集到之后会先经过音/视频处理模块，音/视频在被处理之后才进入计算时间戳的模块</p> </li> <li> <p>在第一帧到达时记一个计时起点，然后根据采集的帧间隔对接下来每一帧的时间戳进行计算： frameTimeStamp = lastFrameTimeStamp + frameDuration</p> </li> </ul> </li> <li> <p>优点</p> <ul> <li>能输出 <strong>frame duration</strong> 稳定的音视频时间戳</li> </ul> </li> <li> <p>风险</p> <ul> <li> <p>无论是音频还是视频，在手机过热、性能不足等极端情况下有可能出现采集不稳定的情况，比如说预计1s采集30帧，实际只采集到28帧，而音视频的时间戳是通过累加来计算的，这样就有会出现音视频不同步的情况</p> </li> <li> <p>Video Process(人脸检测、滤镜、3D贴纸)有可能无法在一帧时间内处理完当前帧，这样就会出现帧数比预期低的情况，从而出现音视频不同步</p> </li> <li> <p>帧间隔涉及到无限小数时，因为计算机的精度有限会引发的时间戳偏移，此偏移会随着帧数的增加而逐渐被放大</p> </li> </ul> </li> </ul> </li> <li> <p>基于 <strong>开源项目1</strong> 的改进方案1</p> <ul> <li>如图：</li> </ul> <p style="text-align:center"><img src="https://simg.open-open.com/show/2e35a9575eb5093a27c8e6ec77975072.png"></p> <ul> <li> <p>简介</p> <ul> <li> <p>音/视频被采集到之后会先经过音/视频处理模块，音/视频在被处理之后才进入计算时间戳的模块</p> </li> <li> <p>时间戳的获取方法非常直接——每一帧都在改帧进入时间戳计算模块时获取当前系统时间作为时间戳</p> </li> </ul> </li> <li> <p>优点：</p> <ul> <li> <p>APP性能正常的情况下肯定不会出现音视频不同步</p> </li> <li> <p>能够实时纠正时间戳，只要APP正常运转，就能立即恢复正确的时间戳</p> </li> </ul> </li> <li> <p>风险：</p> <ul> <li> <p>依赖 <strong>Video Process</strong> 与 <strong>Audio Process</strong> 模块处理时长相近，而实际工程中因为人脸检测、贴纸等原因， <strong>Video Process</strong> 可能会出现阻塞的情况，从而导致临时性的音视频不同步</p> </li> <li> <p>在 <strong>Audio Process</strong> 与 <strong>Video Process</strong> 模块处理帧耗时不均匀的情况下会出现音视频时间戳不均匀的问题，能否正常播放依赖于终端</p> </li> </ul> </li> </ul> </li> <li> <p>基于 <strong>开源项目1</strong> 的一个改进方案2</p> <ul> <li> <p>如图：</p> <p style="text-align:center"><img src="https://simg.open-open.com/show/7c63822aec44096e639ccf6666b180bc.png"></p> </li> <li> <p>简介</p> <ul> <li> <p>音/视频被采集到之后，先获取采集模块提供的音视频时间戳，然后在音/视频处理模块透传采集模块获取到的音/视频时间戳，在时间戳计算模块继续透传采集模块给的时间戳</p> </li> <li> <p>优点：</p> <ul> <li>除非采集模块给出错误数据，否则音视频都一定是同步的</li> </ul> </li> <li> <p>风险：</p> <ul> <li>可能会出现音视频时间戳不均匀的情况，尤其是在手机过热、性能不足等极端情况下</li> </ul> </li> </ul> </li> </ul> </li> <li> <p>直播方向更进一步的优化探讨</p> <ul> <li> <p>大致流程如图：</p> <p><img src="https://simg.open-open.com/show/ab7607b8c5cc174d48efca60fed39f30.png"></p> <ul> <li> <p>简介</p> <ul> <li> <p>音/视频被采集到之后，先获取采集模块提供的音视频时间戳，然后在音/视频处理模块透传采集模块获取到的音/视频时间戳</p> </li> <li> <p>在时间戳计算模块透传视频时间戳，并根据下文中提到的方法计算音频时间戳</p> </li> </ul> </li> <li> <p>音频时间戳计算方法</p> <ul> <li> <p>实时计算时间戳：当前时间戳=起始时间戳+帧数*帧采样数/采样率</p> </li> <li> <p>如果时间戳偏移量超出阈值，纠正时间戳</p> </li> <li> <p>纠正频率达到超出阈值，直接透传采集时间戳</p> </li> </ul> </li> <li> <p>优点：</p> <ul> <li> <p>能够提供一个稳定的音频时间戳，可以兼容帧间隔小幅抖动造成的音频时间戳不均匀</p> </li> <li> <p>兼容性能不足时导致实际采集帧数低于帧率</p> </li> </ul> </li> <li> <p>风险</p> <ul> <li>纠正时间戳时可能会造成声音卡顿的感觉</li> </ul> </li> </ul> </li> </ul> </li> <li> <p>总结</p> <ul> <li>具体方案最好是针对实际应用场景有选择性的做优化，比如说，在可以控制播放器策略的情况，可以考虑根据自研播放器特性做时间戳处理。而如果播放器不可控，则尽量通过策略保障帧间隔稳定。</li> </ul> </li> </ul> <p> </p> <p>来自：https://techblog.toutiao.com/2017/04/18/video/</p> <p> </p>