Как реализовать приостановку трансляции и фоновый стриминг на Android с помощью опенсорс-библиотеки

Если вы решили сделать собственное приложение для стриминга на Android, при разработке нужно учесть множество разных нюансов. Например, зрители могут свернуть вашу трансляцию в процессе просмотра, а через какое-то время вернуться обратно. Как должно при этом работать приложение? Должна ли трансляция приостановиться или идти фоном?

Какое именно поведение реализовать в подобной ситуации — решать вам. Но очень важно предусмотреть подобные моменты технически, чтобы при сворачивании всё работало так, как вы задумали.

Этот материал — продолжение моей предыдущей статьи про создание мобильного приложения для стриминга на Android. В ней я рассказывал о базовых моментах разработки. А сейчас поговорим о нюансах. Расскажу, как технически реализовать приостановку трансляции и фоновый стриминг на Android с помощью опенсорс-библиотеки rtmp-rtsp-stream-client-java.

Фоновый стриминг

Сначала разберём кейс, когда приложение переходит в фон и обратно на передний план. Если заглянуть чуть глубже в исходный код rtmp-rtsp-stream-client-java, станет понятно, что стриминг сам по себе проходит в отдельном потоке:

package com.pedro.rtmp.rtmp class RtmpClient(private val connectCheckerRtmp: ConnectCheckerRtmp) {  //...  @JvmOverloads  fun connect(url: String?, isRetry: Boolean = false) {  //...  if (!isStreaming || isRetry) {  //...  isStreaming = true  thread = Executors.newSingleThreadExecutor()  thread?.execute post@{  try {  if (!establishConnection()) {  connectCheckerRtmp.onConnectionFailedRtmp("Handshake failed")  return@post  }  val writer = this.writer ?: throw IOException("Invalid writer, Connection failed")  commandsManager.sendChunkSize(writer)  commandsManager.sendConnect("", writer)  //read packets until you did success connection to server and you are ready to send packets  while (!Thread.interrupted() && !publishPermitted) {  //Handle all command received and send response for it.  handleMessages()  }  //read packet because maybe server want send you something while streaming  handleServerPackets() } catch (e: Exception) {  Log.e(TAG, "connection error", e)  connectCheckerRtmp.onConnectionFailedRtmp("Error configure stream, ${e.message}")  return@post  }  }  }  }  //... } 

Это очень упрощает  задачу. Получается, нам не нужно пытаться самим вынести этот процесс в отдельный поток.

Но кроме этого нужно учитывать жизненный цикл компонента, в котором у нас инициализируется стриминг, чтобы быть уверенными, что с нашим объектом для стриминга и с самим вещанием ничего не произойдет. Поэтому я решил инициализировать стриминг во ViewModel. Он остается живым на протяжении всех жизненных процессов компонента, к которому привязан (Activity, Fragment).

Замечу, что это лишь один из способов, и можно использовать и другие: например, Foreground Service. 

В жизненном цикле ViewModel ничего не изменится, даже если произойдет смена конфигурации, ориентации, переход в фон или что-нибудь ещё в этом роде. Но одна проблема всё-таки есть. Для стриминга нужно создать объект RtmpCamera2(). Он зависит от объекта OpenGlView, а это элемент UI, и значит, он уничтожится при переходе приложения в фон. И дальнейшее вещание станет невозможно.

К счастью, в библиотеке предусмотрена возможность заменять на лету View объекта RtmpCamera2. Мы можем заменить её любым объектом нашего приложения, в том числе Context, который живёт, пока сервис не уничтожен системой, или пользователь сам не закрыл его.

В итоге, индикатором перехода приложения в фон будем считать уничтожение объекта OpenGlView. А возврат на передний план, соответственно, создание этого View. Значит, нужно реализовать для этого соответствующий коллбэк:

private val surfaceHolderCallback = object : SurfaceHolder.Callback {  override fun surfaceCreated(holder: SurfaceHolder) {  viewModel.appInForeground(binding.openGlView)  }  override fun surfaceChanged(holder: SurfaceHolder, format: Int, width: Int, height: Int) {}  override fun surfaceDestroyed(holder: SurfaceHolder) {  viewModel.appInBackground()  } } 

binding.openGlView.holder.addCallback(surfaceHolderCallback)

Как вы уже могли догадаться, мы будем заменять объект OpenGlView на объект Context при переходе в фон и обратно при возврате на передний план. Для этого во ViewModel определим соответствующие методы.

class StartBroadcastViewModel(application: Application) : AndroidViewModel(application) {  //...  fun appInForeground(openGlView: OpenGlView) {  rtmpCamera2?.let {  it.replaceView(openGlView)  it.startPreview(  StreamParameters.resolution.width,  StreamParameters.resolution.height  )  }  }  fun appInBackground() {  rtmpCamera2?.let {  it.stopPreview()  it.replaceView(getApplication() as Context)  }  }  //..override fun onCleared() {  super.onCleared()  rtmpCamera2?.let {  if (it.isStreaming) {  _streamState.value = StreamState.STOP  it.stopStream()  }  it.stopPreview()  }  } }

Также нужно остановить трансляцию при уничтожении ViewModel.

Приостановка трансляции

К сожалению, в библиотеке rtmp-rtsp-stream-client-java не реализована функция приостановки стриминга с сохранением соединения с сервером. Приходится останавливать трансляцию и заново стартовать, а это приводит к лишним задержкам. Чтобы решить эту проблему, я решил имитировать приостановку трансляции отключением камеры и микрофона. Эти функции в библиотеке как раз были доступны.

В этом случае соединение с сервером не обрывается, и задержка при возобновлении трансляции не превышает 8 секунд (стандартная задержка в трансляциях). При этом битрейт при имитации снижается до 70-80 Кбит/с, а значит лишний интернет-трафик практически не расходуется.

//... fun resumeStream() {  rtmpCamera2?.let {  it.enableAudio()  it.glInterface.unMuteVideo()  _streamState.value = StreamState.PLAY  } } fun pauseStream() {  rtmpCamera2?.let {  it.disableAudio()  it.glInterface.muteVideo()  _streamState.value = StreamState.PAUSE  } } //...

Как видите, реализовать и фоновый стриминг, и приостановку довольно просто. И rtmp-rtsp-stream-client-java даёт для этого все возможности.