webrobot一种很调皮的视频机器人方案

闲来无聊,想起了之前一直有的一个方案。如何在前端实现视频机器人效果。

因为,我们很多对接第三方如trtc、华为、阿里、国外大厂的webrtc会议sdk。如果他们不开放后端推流和监听方案,你很难实现对应的机器人。

哪怕是开源的freeswitch、Jitsi、Janus、mediasoup、pion等,如果你不了解,无法进行2次开发,你能实现对应的视频机器人嘛?

所以,前端基于webrtc的媒体流方案,是可以一试的。因为webrtc的支持很多,你可以使用web、或者安卓等,都能实现对应的效果哦。

简单方案,

1:监听remote audio、video视频流。

2:实时asr语音转写,后端转写,并生成实时视频。

3:切换视频,如果播放对应的视频后,应切换到一个循环视频,给用户。

4:2步骤生成视频之后,通过前端在播放media stream 给remote,用户。

5:继续上述流程,实现一个很调皮方式。  

目前实现了对应的语音监听、视频切换、播放对应视频。

然后将来再使用rpa方式自动执行接听,一个很low的机器人就可以服务了。