Golang+FFmpeg

Долго искал более-менее живую Golang-библиотеку для работы с rtsp.

Изначально наткнулся на github.com/nareix/joy4, но там оказался устаревший C-код и rtp был на Golang, а декодинг на FFmpeg. (немало deprecated варнингов).

Изначально форкнул ее, что-то поправил, но с китайскими камерами (о чем, много уже, написано на хабре), часто были битые кадры, отвалы коннекта и т.д.

Поискал по Go-go! telegram-чату — понял, что нет хороших решений.

Ну и как любят делать на JS — нужно написать свой фреймворк.

Поискал примеры rtsp-клентов на c/c++, перенес все это на Golang, декодинг взял из наработок github.com/Danile71/joy4.

Пока что заложил логику довольно статичную — открываем rtsp/mjpeg/file

• видео превращается в jpeg

• аудио в pcm wav

Для подключения к rtsp — имеется возможность выбрать Tcp/Udp/Auto подключение.
Локальные файлы передавать путем до файла.
Проверил на (ffmpeg version 4.2.4-1ubuntu0.1):

• RTSP (H264/AAC)

• RTSP (H265/AAC)

• MJPEG

• MP4 (H264/AAC)

• AVI (H264/AAC)

• FLAC

• WAV

• MP3

• MPEG2 TS(H265/AAC)

Пример

package main  import ( "io" "net/http" "os"  "github.com/Danile71/go-logger" "github.com/Danile71/go-rtsp" "github.com/gorilla/mux" "github.com/mattn/go-mjpeg" )  //const uri = "rtsp://admin:admin@127.0.0.1:554"  const uri = "./file.ts"  func main() { s := mjpeg.NewStream()  f, err := os.Create("./audio.pcm") if logger.OnError(err) { return } defer f.Close()  // Call stream.Setup(Auto) stream, err := rtsp.Open(uri) if logger.OnError(err) { return }  // Custom setup call // stream := rtsp.New(uri) // err = stream.Setup(rtsp.Tcp) // if logger.OnError(err) { // return // }  go func() {  for { pkt, err := stream.ReadPacket() if logger.OnError(err) { if err == io.EOF { os.Exit(1) } continue }  if pkt.IsVideo() { // pkt.Width() // pkt.Height() s.Update(pkt.Data()) }  if pkt.IsAudio() { // pkt.SampleRate() // pkt.Channels() // pkt.BitRate() _, err := f.Write(pkt.Data()) if logger.OnError(err) { continue } } } }()  streamHandler := func(w http.ResponseWriter, r *http.Request) { s.ServeHTTP(w, r) }  router := mux.NewRouter() router.HandleFunc("/stream", streamHandler) http.Handle("/", router) http.ListenAndServe(":8181", nil) }

Сие творение: github.com/Danile71/go-rtsp

p.s. Имеется ли у кого интерес к медиа направлению на Golang?