解决方案| anyRTC金融音视频解决方案
目前金融行业里一般都会要求一套音视频解决方案，运用于金融的各种场景中，比如视频会议、视频面签（双录）、视频直播等场景。在这些场景中，在音视频领域内会归纳为音视频模块（音视频通信、音视频录制）、信令模块，二者结合配合业务便可轻松组装各种场景。
金融音视频需求分析
功能分析
-
音视频通信功能： 能够进行音视频通信，包括一对一、一对多、直播、录制等功能
-
实时聊天功能： 金融业务中包含实时通知、文字聊天、文件传输等
场景分析
- 视频会议： 企业内部通信使用，支持大会场景，支持转直播功能
- 视频面签（双录）： 客服和客户进行一对一通信，如果遇到特殊场景，可以拉专家一起进行音视频业务办理，同时支持本地录制以及服务器录制双重录制保障，录制内容支持时间水印、文字水印和图片水印
- 视频直播： 在金融APP里，都会有直播模块，教大家理财、炒股等，要求清晰，不卡顿，大并发等，直播房间里的视频需要经过CDN加速，文字聊天需要支撑百万人，同时需要把直播课程录制下来转为录播课程
下文先介绍下SDK以及功能：
SDK功能模块
音视频SDK
| 功能 | 描述 |
|---|---|
| 支持大小流 | 大屏拉取大流，小屏拉取小流，大小流可无缝切换 |
| AI降噪功能 | 能够让通信人员在嘈杂的环境中也能清晰听到通信声音，去除杂声，凸显人声 |
| 音视频流回退功能 | 通信网络差的时候，SDK 会自动将视频流从大流切换为小流，或将媒体流回退为音频流，从而提高音视频质量 |
| 多频道功能 | SDK可以同时进入多个频道进行音视频通信，频道数量不限制，适用于超级小班课的场景、监看功能 |
| 通话前网络质量检测 | 在通话之前可以实时查看当前的网络质量，有助于通信前掌握当前的通话环境 |
| 通话中网络质量检测 | 通话中实时回调音视频通信质量，有助于通信质量提醒 |
| 混音 | 本地可以播放多个音频文件，并将播放的音频信息跟本地采集的声音进行混音发出去 |
| 美色/变声 | 预设人声效果，也支持通过音调、声音均衡和混响等设置自定义人声效果 |
| 自定义视频采集和渲染 | 支持第三方视频采集数据接入，比如录屏数据，美颜视频数据等等 |
| 自定义音频采集和渲染 | 支持外置音频源输入 |
| 流媒体加密功能 | 默认AES加密，支持自定义加密、国密加密 |
| 旁路推流服务（推流到CDN） | 将实时音视频通信画面在服务器端进行转码合流转推CDN |
| 插入媒体流服务 | 将http、rtsp、rtmp媒体流转成RTC实时流，供频道内人员实时观看 |
| 跨频道流媒体转发 | 信人可以跨频道跟其他频道人员进行音视频互动 |
| 本地旁路推流组件 | Native 端直接把当前通话的内容，合流转码转推到CDN上 |
| 媒体播放器组件 | 支持播放本地或在线的媒体资源，支持：AVI、MP4、MP3、MKV 和 FLV 格式的本地文件，HTTP、HTTPS、RTMP 和 RTSP 协议的在线媒体流 |
| 音量提示 | 实时提示当前通话人的声音大小 |
| 耳返功能 | 支持实时有线耳机耳返功能，耳返延迟50ms左右 |
| 设备管理 | 切换摄像头、缩放、闪光灯、对焦等功能 |
| 本地音频录制 | 提供本地音频录制功能，可配置高保真wav录制格式和低保真aac录制格式 |
RTM 实时消息 SDK
| 功能 | 描述 |
|---|---|
| 登录/登出功能 | 用户上线和下线功能 |
| 点对点消息 | 向某个用户发送点对点消息 |
| 查询单个或多个用户的在线状态 | 查询用户的在线状态 |
| 订阅/取消订阅单个或多个用户的在线状态 | 订阅用户的在线状态，当用户上线后，能够及时收到用户的状态回调 |
| 用户属性增删改查 | 用户标签信息，比如昵称，头像信息，可以供别人调用查看 |
| 频道属性增删改查 | 频道标签信息，比如频道的状态，频道里的时间，可以通过属性更改通知频道内其他用户 |
| 查询单个或多个频道的成员人数 | 可以实时查看频道成员的人数 |
| 加入离开频道 | 可以同时加入多个频道，离开频道 |
| 频道消息 | 接收或者发送频道消息（广播消息） |
| 获取频道成员列表 | 可以获取频道内的人员列表信息 |
| 呼叫邀请管理 | 可以呼叫邀请其他用户，类似微信呼叫邀请通话功能 |
云端录制
| 功能 | 描述 |
|---|---|
| 录制模式 | 合流录制模式：频道内所有 UID 的音视频混合录制为一个音视频文件。 单流录制模式：分开录制频道内每个 UID 的音频流和视频流，每个UID均有其对应的音频文件和视频文件 |
| 视频截图 | 在单流模式下，支持视频截图 |
| 订阅指定的 UID | 支持设置订阅白名单或黑名单，以及在录制过程中更新订阅名单 |
| 订阅指定的媒体类型 | 仅订阅音频、仅订阅视频、同时订阅音频和视频 |
| 设置音视频属性 | 在合流模式下，支持设置音视频属性，如码率和分辨率。 |
| 设置合流布局 | 在合流模式下，支持自定义合流布局或使用预设的布局，以及设置屏幕（画布）的背景颜色。支持在录制过程中更新合流布局或背景颜色。 |
| 第三方云存储 | 支持将录制文件存储在以下第三方云存储中：Amazon S3、阿里云、腾讯云、七牛云、金山云,也支持本地标准的http存储服务 |
| 录制双流 | 如果 anyRTC RTC SDK启用了双流模式，你可以选择录制大流或小流。 |
| 录制加密频道 | 支持录制采用以下加密方式的频道：AES128XTS、AES128ECB、AES256XTS |
| 转码 | anyRTC 提供转码脚本，用于合并音视频文件以及转换文件格式。 |
| 消息通知服务 | anyRTC 提供消息通知服务。开通该服务后，你会收到云端录制的事件通知:录制文件的文件名、第一个切片文件的开始时间、流状态改变时的时间戳 |
| 扩展服务 | 支持对接第三方扩展服务。目前仅支持阿里视频点播服务（VoD） |
上述为流媒体架构以及SDK功能列表，支持服务集群，双机热备，能够支持大并发流媒体，具有高可用、高并发等特性。
视频面签（双录）实现流程
业务部分： 可以结合 RTM SDK 进行实时状态更新，比如当前的排队状态；也可以进行实时文字聊天，比如由于方言问题表述不清的时候，用文字进行传达。
进入频道： 该模块使用的是 RTC SDK,根据业务部分分配的频道，客户也业务员进入同一个频道进行音视频业务办理。
TTS语音播报功能： SDK自带音频播放功能，客服端可根据业务类型，把需要播放的音频文件跟本地麦克风进行混音传输播放。
系统部署
服务器的部署分为云平台（公有云）部署和私有化（私有云）部署两种方式。一般来说云平台部署是多租户环境，不需要硬件投入，即付即用，按需购买服务；而私有化部署是单一租户环境，自主可控，安全性高，但需要自己提供服务器主机和网络带宽。
稳定合规
如何保证通信过程的清晰、稳定、合规、可回溯 是各家金融机构首要关注的问题
高清画质、高音质保障
端到端延时小于 200ms ，最高可抗 1000ms 网络抖动 ，在网络丢包 70% 时仍能正常通话 。视频清晰度支持64P~ 1080P ，音频采样率最高支持 48kHz ，支持全频道编解码。
我们自研领先的 3A 算法以及AI 降噪算法 ，能有效解决通话中的回声、啸叫、噪音等问题，同时支持开启大小流模式，可指定弱网环境下本地或接收端媒体流的回退情况 ，优先保障通话流畅平稳、保证用户体验。
双向录制，通信加密
在线上业务办理过程中，依据国家相关政策规定，需要对相关业务以及服务的内容进行录音录像，我们采用客户本地录制和云端服务器 上进行音视频的双向录制 方式，将通信的音视频资料进行采集。同时，整个操作录屏、业务凭证、记录 等也会完整存储，保障文件**不丢失、可回溯。
通信安全包含身份鉴权（动态秘钥）、流媒体加密（AES-128/AES-256/国密加密）、传输加密（SSL/HTTPS/WebSocket/DTLS/SRTP）、服务保护(防DDOS、隐藏核心服务) 四块来保证在线上业务办理过程中的通信安全。
