Android平台一对一音视频通话方案对比:WebRTC VS RTMP VS RTSP

2023-12-21 15:34:14

一对一音视频通话使用场景

一对一音视频通话都需要稳定、清晰和流畅,以确保良好的用户体验,常用的使用场景如下:

  1. 社交应用:社交应用是一种常见的使用场景,用户可以通过音视频通话进行面对面的交流;
  2. 在线教育:老师和学生可以通过音视频通话功能进行实时互动,提高教学效率;
  3. 远程协助:在某些工作场景下,比如应急指挥项目,需要通过音视频通话功能进行远程协助,进行技术支持、维修服务等;
  4. 视频会议:一对一的音视频通话是视频会议非常重要的一部分,用于两个参会者之间的沟通,当然也可以合流输出;
  5. 语音通话:使用语音通话,如在行车过程中,此时语音通话就是一个很好的选择。

本文福利, 免费领取C++音视频学习资料包+学习路线大纲、技术视频/代码,内容包括(音视频开发,面试题,FFmpeg ,webRTC ,rtmp ,hls ,rtsp ,ffplay ,编解码,推拉流,srs)↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

一对一音视频通话技术方案

WebRTC方案

在Android平台上实现一对一音视频通话,你可以使用WebRTC,WebRTC提供了实时音视频通话的功能。以下是一个简单的步骤说明如何实现:

  1. 设置环境:首先,你需要在你的开发环境中安装Android Studio,并且配置好必要的SDK;
  2. 添加依赖:在你的项目中,你需要添加WebRTC的库。在你的build.gradle文件中添加如下依赖;
  3. 实现音视频捕获:你需要实现音视频的捕获。在Java中,你可以使用AudioRecord和VideoCapturer类来实现;
  4. 创建PeerConnection:创建PeerConnection对象,这个对象会用于音视频的编解码和网络传输;
  5. 显示本地音视频流:使用MediaStream.VideoTrack和MediaStream.AudioTrack将捕获的音视频流添加到PeerConnection中,然后通过VideoRenderer和AudioRenderer显示出来;
  6. 创建并发送offer:创建并发送一个offer,这个offer包含了你的音视频通道信息以及你愿意接受的连接参数;
  7. 接收并解析offer:在另一端,接收到offer后,解析出音视频通道信息以及连接参数,然后创建并返回一个answer;
  8. 接收answer:在本地,接收到answer后,解析出音视频通道信息以及连接参数,然后创建并启动对应的通道。

RTMP方案

RTMP是一种基于TCP的流媒体协议,主要用于视频直播。它提供了实时传输音频和视频的功能,可以用于一对一或一对多的场景,RTMP可用于内网或公网环境下,缺点是需要单独部署RTMP Server,数据通过RTMP Server中转,配合低延迟的RTMP Player,互动可以很轻松的在毫秒级。

demo为例,RTMP推送的代码如下:

class ButtonPushStartListener implements OnClickListener
    {
        public void onClick(View v)
        {    
            if (isPushingRtmp)
            {
                stopPush();
                btnPushStartStop.setText("推送RTMP");
                isPushingRtmp = false;
                return;
            }
            Log.i(PUSH_TAG, "onClick start push rtmp..");
            if (libPublisher == null)
                return;
            InitPusherAndSetConfig();
            Log.i(PUSH_TAG, "videoWidth: "+ pushVideoWidth + " videoHeight: " + pushVideoHeight + " pushType:" + pushType);
            if ( libPublisher.SmartPublisherSetURL(publisherHandle, publishURL) != 0 )
            {
                Log.e(PUSH_TAG, "Failed to set rtmp pusher URL..");
            }
            int startRet = libPublisher.SmartPublisherStartPublisher(publisherHandle);
            if (startRet != 0) {
                isPushingRtmp = false;
                Log.e(TAG, "Failed to start push stream..");
                return;
            }
            CheckInitAudioRecorder();
            btnPushStartStop.setText("停止推送 ");
            isPushingRtmp = true;
    };

停止RTMP推送:

//停止rtmp推送
private void stopPush() {
  if(!isPushingRtmp)
  {
    return;
  }
  if ( !isRTSPPublisherRunning) {
    if (audioRecord_ != null) {
      Log.i(TAG, "stopPush, call audioRecord_.StopRecording..");
      audioRecord_.Stop();
      if (audioRecordCallback_ != null) {
        audioRecord_.RemoveCallback(audioRecordCallback_);
        audioRecordCallback_ = null;
      }
      audioRecord_ = null;
    }
  }
  if (libPublisher != null) {
    libPublisher.SmartPublisherStopPublisher(publisherHandle);
  }
  if (!isRTSPPublisherRunning) {
    if (publisherHandle != 0) {
      if (libPublisher != null) {
        libPublisher.SmartPublisherClose(publisherHandle);
        publisherHandle = 0;
      }
    }
  }
}

RTMP播放:

btnPlaybackStartStopPlayback.setOnClickListener(new Button.OnClickListener() 
        {  
              
            //  @Override  
              public void onClick(View v) {  
                  
                  if(isPlaybackViewStarted)
                  {
                      btnPlaybackStartStopPlayback.setText("开始播放 ");
                  if ( playerHandle != 0 )
                  {
                    libPlayer.SmartPlayerStopPlay(playerHandle);
                    libPlayer.SmartPlayerClose(playerHandle);
                    playerHandle = 0;
                  }
                      isPlaybackViewStarted = false;
                  }
                  else
                  {
                      Log.i(PLAY_TAG, "Start playback stream++");
                      
                      playerHandle = libPlayer.SmartPlayerOpen(curContext);
                      if(playerHandle == 0)
                      {
                          Log.e(PLAY_TAG, "sur faceHandle with nil..");
                          return;
                      }
                  libPlayer.SetSmartPlayerEventCallbackV2(playerHandle,
                      new EventHandePlayerV2());
                  libPlayer.SmartPlayerSetSur face(playerHandle, playerSur faceView);   //if set the second param with null, it means it will playback audio only..
                  libPlayer.SmartPlayerSetRenderScaleMode(playerHandle, 1);
                  libPlayer.SmartPlayerSetExternalAudioOutput(playerHandle, new PlayerExternalPcmOutput());
                  libPlayer.SmartPlayerSetAudioOutputType(playerHandle, 1);
                  libPlayer.SmartPlayerSetBuffer(playerHandle, playbackBuffer);
                  libPlayer.SmartPlayerSetFastStartup(playerHandle, isPlaybackFastStartup?1:0);
                      
                      
                      if ( isPlaybackMute )
                      {
                          libPlayer.SmartPlayerSetMute(playerHandle, isPlaybackMute?1:0);
                      }
                      
                  if (isPlaybackHardwareDecoder) {
                    int isSupportHevcHwDecoder = libPlayer.SetSmartPlayerVideoHevcHWDecoder(playerHandle,1);
                    int isSupportH264HwDecoder = libPlayer
                        .SetSmartPlayerVideoHWDecoder(playerHandle,1);
                    Log.i(TAG, "isSupportH264HwDecoder: " + isSupportH264HwDecoder + ", isSupportHevcHwDecoder: " + isSupportHevcHwDecoder);
                  }
                      libPlayer.SmartPlayerSetAudioVolume(playerHandle, curAudioVolume);
                      libPlayer.SmartPlayerSetUrl(playerHandle, playbackUrl);
                      
                      int iPlaybackRet = libPlayer.SmartPlayerStartPlay(playerHandle);
                                          
                      if( iPlaybackRet != 0 )
                      {
                      libPlayer.SmartPlayerClose(playerHandle);
                      playerHandle = 0;
                             Log.e(PLAY_TAG, "StartPlayback strem failed.."); 
                             return;
                      }
    
                      btnPlaybackStartStopPlayback.setText("停止播放 ");
                                          
                      btnPlaybackPopInputUrl.setEnabled(false);
                      btnPlaybackHardwareDecoder.setEnabled(false);
                      
                      btnPlaybackSetPlayBuffer.setEnabled(false);
                      btnPlaybackFastStartup.setEnabled(false);
                      
                      isPlaybackViewStarted = true;
                      Log.i(PLAY_TAG, "Start playback stream--");
                  }
                }
        });

轻量级RTSP服务+RTSP播放方案

纯内网环境下,两个终端可同时开启轻量级RTSP服务,然后相互拉取对方回调上来的RTSP URL,通过回音消除等,实现智能化场景的一对一音视频互动,不然智能门禁等场景,均可使用,实测延迟毫秒级,不影响互动体验,效果非常好:

对应的代码如下:

//Author: daniusdk.com    
    //启动/停止RTSP服务
    class ButtonRtspServiceListener implements OnClickListener {
        public void onClick(View v) {
            if (isRTSPServiceRunning) {
                stopRtspService();
                btnRtspService.setText("启动RTSP服务");
                btnRtspPublisher.setEnabled(false);
                isRTSPServiceRunning = false;
                return;
            }
            Log.i(TAG, "onClick start rtsp service..");
            rtsp_handle_ = libPublisher.OpenRtspServer(0);
            if (rtsp_handle_ == 0) {
                Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");
            } else {
                int port = 8554;
                if (libPublisher.SetRtspServerPort(rtsp_handle_, port) != 0) {
                    libPublisher.CloseRtspServer(rtsp_handle_);
                    rtsp_handle_ = 0;
                    Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");
                }
                //String user_name = "admin";
                //String password = "12345";
                //libPublisher.SetRtspServerUserNamePassword(rtsp_handle_, user_name, password);
                if (libPublisher.StartRtspServer(rtsp_handle_, 0) == 0) {
                    Log.i(TAG, "启动rtsp server 成功!");
                } else {
                    libPublisher.CloseRtspServer(rtsp_handle_);
                    rtsp_handle_ = 0;
                    Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");
                }
                btnRtspService.setText("停止RTSP服务");
                btnRtspPublisher.setEnabled(true);
                isRTSPServiceRunning = true;
            }
        }
    }

发布RTSP流:

//发布/停止RTSP流
    class ButtonRtspPublisherListener implements OnClickListener {
        public void onClick(View v) {
            if (isRTSPPublisherRunning) {
                stopRtspPublisher();
                if (!isPushingRtmp) {
                    ConfigControlEnable(true);
                }
                btnRtspPublisher.setText("发布RTSP流");
                btnGetRtspSessionNumbers.setEnabled(false);
                btnRtspService.setEnabled(true);
                isRTSPPublisherRunning = false;
                return;
            }
            Log.i(TAG, "onClick start rtsp publisher..");
            if (!isPushingRtmp) {
                InitPusherAndSetConfig();
            }
            if (publisherHandle == 0) {
                Log.e(TAG, "Start rtsp publisher, publisherHandle is null..");
                return;
            }
            String rtsp_stream_name = "stream1";
            libPublisher.SetRtspStreamName(publisherHandle, rtsp_stream_name);
            libPublisher.ClearRtspStreamServer(publisherHandle);
            libPublisher.AddRtspStreamServer(publisherHandle, rtsp_handle_, 0);
            if (libPublisher.StartRtspStream(publisherHandle, 0) != 0) {
                Log.e(TAG, "调用发布rtsp流接口失败!");
                return;
            }
            if (!isPushingRtmp) {
                if (pushType == 0 || pushType == 1) {
                    CheckInitAudioRecorder();    //enable pure video publisher..
                }
                ConfigControlEnable(false);
            }
            startLayerPostThread();
            btnRtspPublisher.setText("停止RTSP流");
            btnGetRtspSessionNumbers.setEnabled(true);
            btnRtspService.setEnabled(false);
            isRTSPPublisherRunning = true;
        }
    }

获取RTSP流会话链接数:

//当前RTSP会话数弹出框
    private void PopRtspSessionNumberDialog(int session_numbers) {
        final EditText inputUrlTxt = new EditText(this);
        inputUrlTxt.setFocusable(true);
        inputUrlTxt.setEnabled(false);
        String session_numbers_tag = "RTSP服务当前客户会话数: " + session_numbers;
        inputUrlTxt.setText(session_numbers_tag);
        AlertDialog.Builder builderUrl = new AlertDialog.Builder(this);
        builderUrl
                .setTitle("内置RTSP服务")
                .setView(inputUrlTxt).setNegativeButton("确定", null);
        builderUrl.show();
    }
    //获取RTSP会话数
    class ButtonGetRtspSessionNumbersListener implements OnClickListener {
        public void onClick(View v) {
            if (libPublisher != null && rtsp_handle_ != 0) {
                int session_numbers = libPublisher.GetRtspServerClientSessionNumbers(rtsp_handle_);
                Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);
                PopRtspSessionNumberDialog(session_numbers);
            }
        }
    }

播放RTSP不再赘述,和播放RTMP一样,只是URL类型不一样,需要注意的是,不管走RTMP还是RTSP,都需要开启回音消除。

技术总结

Android平台一对一互动,纯内网环境下,不部署单独的流媒体服务器,走轻量级RTSP服务真的非常方便,如果需要扩展到公网业务,建议可以考虑RTMP,如果有很好的开发能力,也可以考虑WebRTC,具体根据实际场景选择即可。

本文福利, 免费领取C++音视频学习资料包+学习路线大纲、技术视频/代码,内容包括(音视频开发,面试题,FFmpeg ,webRTC ,rtmp ,hls ,rtsp ,ffplay ,编解码,推拉流,srs)↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

文章来源:https://blog.csdn.net/m0_73443478/article/details/135129765
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。