低延迟播放超高分辨率（4K+）帧率（50帧+）RTSP|RTMP流技术探讨和实现

原创

音视频牛哥

发布于 2024-07-15 18:02:29

2340

文章被收录于专栏：RTSP/RTMP直播相关

?技术背景

我们在对接RTSP、RTMP推拉流播放的时候，开发者提到这样的技术诉求，他们在用于安检等场景的时候，采集分辨率甚至需要4K+，帧率需要达到50帧以上，码率也非常高，这就对推流和播放模块，提出了更高的要求。

以播放端为例，如果需要播放50帧以上高帧率高码率高分辨率的RTSP或RTMP流，以下是一些关键的步骤和考虑因素：

1. 确保视频源支持高帧率

视频源设备：确保你的视频源设备（如摄像头、摄像机等）能够输出50帧的视频流。
编码器设置：如果视频流在传输前经过编码器，需要确保编码器支持并配置为输出50帧的视频。

2. 选择合适的RTSP播放器

播放器性能：选择一款性能强大的RTSP|RTMP播放器，能够处理高帧率视频流的解码和渲染。
硬解码支持：超高帧率码率和分辨率的RTSP|RTMP视频流播放，由于解码非常耗费性能，建议采用硬解码模式。

3. 网络条件

带宽：高帧率视频流需要更高的带宽来保持流畅的播放。确保你的网络环境能够提供足够的带宽来支持50帧的视频流。
延迟：低延迟是直播和实时视频传输的重要要求。

4. 播放器配置

软硬解码设置：根据设备性能，选择软解或硬解码。
缓冲设置：合理配置播放器的缓冲策略，以应对网络波动和视频流中的突发情况。

5. 优化和调试

性能监控：使用性能监控工具来评估播放器的性能，包括CPU使用率、内存占用和帧率等。
调试工具：利用播放器的调试工具来诊断和解决可能出现的问题，如解码错误、同步问题等。

6. 跨平台兼容性

多平台支持：如果你需要在不同的平台上播放高帧率视频（如Windows、Linux、Android、iOS等），需要确保播放器在这些平台上都有良好的表现和兼容性。

技术实现

以大牛直播SDK的SmartPlayer为例，目前实现的功能如下，如不单独介绍，Windows、Linux、Android、iOS均支持，现场测试，超过1080p，50帧以上，依然可以达到150-300ms延迟：

[支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP直播播放器SDK；
[多实例播放]支持多实例播放；
[事件回调]支持网络状态、buffer状态等回调；
[视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
[音频格式]支持AAC/PCMA/PCMU；
[H.264/H.265软解码]支持H.264/H.265软解；
[H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
[H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
[H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
[RTSP模式设置]支持RTSP TCP/UDP模式设置；
[RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
[RTSP超时设置]支持RTSP超时时间设置，单位：秒；
[RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
[缓冲时间设置]支持buffer time设置；
[首屏秒开]支持首屏秒开模式；
[复杂网络处理]支持断网重连等各种网络环境自动适配；
[快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
[音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
[实时静音]支持播放过程中，实时静音/取消静音；
[实时音量调节]支持播放过程中实时调节音量；
[实时快照]支持播放过程中截取当前播放画面；
[只播关键帧]Windows平台支持实时设置是否只播放关键帧；
[渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
[渲染镜像]支持水平反转、垂直反转模式设置；
[等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
[实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
[解码前视频数据回调]支持H.264/H.265数据回调；
[解码后视频数据回调]支持解码后YUV/RGB数据回调；
[解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
[音视频自适应]支持播放过程中，音视频信息改变后自适应；
[扩展录像功能]完美支持和录像SDK组合使用。

对应Demo：

Windows测试程序：SmartPlayer.exe；
Windows C++工程：WIN-PlayerSDK-CPP-Demo；
Windows C#工程：WIN-PlayerSDK-CSharp-Demo；
Linux工程：single_playerdemo|multi_playerdemo；
Android工程：SmartPlayerV2；
iOS工程：SmartiOSPlayerV2。

以Winodws平台为例，开始播放实现如下：

/*
 * SmartPlayerForm.cs
 * Author：daniusdk.com
 * QQ 89030985
 */
private void btn_play_Click(object sender, EventArgs e)
{
	if (btn_play.Text == "播放")
	{
		if (!is_recording_)
		{
			if (!InitCommonSDKParam())
			{
				MessageBox.Show("设置参数错误!");
				return;
			}
		}

		//video resolution callback
		video_size_call_back_ = new SP_SDKVideoSizeCallBack(SP_SDKVideoSizeHandle);
		NTSmartPlayerSDK.NT_SP_SetVideoSizeCallBack(player_handle_, IntPtr.Zero, video_size_call_back_);

		bool is_support_d3d_render = false;
		Int32 in_support_d3d_render = 0;

		if (NT.NTBaseCodeDefine.NT_ERC_OK == NTSmartPlayerSDK.NT_SP_IsSupportD3DRender(player_handle_, playWnd.Handle, ref in_support_d3d_render))
		{
			if (1 == in_support_d3d_render)
			{
				is_support_d3d_render = true;
			}
		}

		//is_support_d3d_render = false;

		if (is_support_d3d_render)
		{
			is_gdi_render_ = false;

			// 支持d3d绘制的话，就用D3D绘制
			NTSmartPlayerSDK.NT_SP_SetRenderWindow(player_handle_, playWnd.Handle);

			if (btn_check_render_scale_mode.Checked)
			{
				NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 1);
			}
			else
			{
				NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 0);
			}
			
		}
		else
		{
			is_gdi_render_ = true;

			playWnd.Visible = false;

			// 不支持D3D就让播放器吐出数据来，用GDI绘制

			//video frame callback (YUV/RGB)
			//format请参见 NT_SP_E_VIDEO_FRAME_FORMAT，如需回调YUV，请设置为 NT_SP_E_VIDEO_FRAME_FROMAT_I420
			video_frame_call_back_ = new SP_SDKVideoFrameCallBack(SetVideoFrameCallBack);
			NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, IntPtr.Zero, video_frame_call_back_);
		}

		user_data_call_back_ = new SP_SDKUserDataCallBack(SDKUserDataCallBack);
		NTSmartPlayerSDK.NT_SP_SetUserDataCallBack(player_handle_, IntPtr.Zero, user_data_call_back_);


		if (btn_check_add_osd.Checked)
		{
			DrawOSD("叠加字符展示");
		}
		else
		{
			DrawOSD(null);
		}

		UInt32 ret_start = NTSmartPlayerSDK.NT_SP_StartPlay(player_handle_);

		if (ret_start != 0)
		{
			MessageBox.Show("播放失败..");
			return;
		}

		//转发相关，具体参见转发demo
		/*
		pull_stream_video_data_call_back_ = new SP_SDKPullStreamVideoDataCallBack(OnVideoDataHandle);
		pull_stream_audio_data_call_back_ = new SP_SDKPullStreamAudioDataCallBack(OnAudioDataHandle);

		NTSmartPlayerSDK.NT_SP_SetPullStreamVideoDataCallBack(pull_handle_, IntPtr.Zero, pull_stream_video_data_call_back_);
		NTSmartPlayerSDK.NT_SP_SetPullStreamAudioDataCallBack(pull_handle_, IntPtr.Zero, pull_stream_audio_data_call_back_);

		UInt32 ret = NTSmartPlayerSDK.NT_SP_StartPullStream(pull_handle_);
		 */

		btn_capture_image.Enabled = true;

		is_playing_ = true;

		btn_play.Text = "停止";
	}
	else
	{
		StopPlayback();
	}
	
}

停止播放：

private void StopPlayback()
{
	if (player_handle_ == IntPtr.Zero)
	{
		return;
	}

	if (is_playing_)
	{
		NTSmartPlayerSDK.NT_SP_StopPlay(player_handle_);
		is_playing_ = false;

		//playWnd.Invalidate();   //清空最后一帧数据，如不加，默认保留最后一帧画面
	}

	if (cur_video_frame_.plane0_ != IntPtr.Zero)
	{
		Marshal.FreeHGlobal(cur_video_frame_.plane0_);
		cur_video_frame_.plane0_ = IntPtr.Zero;
	}

	btn_full_screen_.Enabled = false;
	btn_capture_image.Enabled = false;
	textBox_resolution.Text = "";
	btn_play.Text = "播放";
	lable_cur_status_txt.Text = "";
	edit_player_msg_.Text = "";
	DrawOSD(null);
}

如需要实时快照：

private void btn_capture_image_Click(object sender, EventArgs e)
{
	if ( String.IsNullOrEmpty(capture_image_path_) )
	{
		MessageBox.Show("请先设置保存截图文件的目录! 点击截图左边的按钮设置!");
		return;
	}

	if ( player_handle_ == IntPtr.Zero )
	{
		return;
	}

	if ( !is_playing_)
	{
		MessageBox.Show("请在播放状态下截图!");
		return;
	}

	String name = capture_image_path_ + "\\" +  DateTime.Now.ToString("hh-mm-ss") + ".png";

	byte[] buffer1 = Encoding.Default.GetBytes(name);
	byte[] buffer2 = Encoding.Convert(Encoding.Default, Encoding.UTF8, buffer1, 0, buffer1.Length);

	byte[] buffer3 = new byte[buffer2.Length + 1];
	buffer3[buffer2.Length] = 0;

	Array.Copy(buffer2, buffer3, buffer2.Length);

	IntPtr file_name_ptr = Marshal.AllocHGlobal(buffer3.Length);
	Marshal.Copy(buffer3, 0, file_name_ptr, buffer3.Length);

	capture_image_call_back_ = new SP_SDKCaptureImageCallBack(SDKCaptureImageCallBack);

	UInt32 ret = NTSmartPlayerSDK.NT_SP_CaptureImage(player_handle_, file_name_ptr, IntPtr.Zero, capture_image_call_back_);

	Marshal.FreeHGlobal(file_name_ptr);

	if (NT.NTBaseCodeDefine.NT_ERC_OK == ret)
	{
		// 发送截图请求成功
	}
	else if ((UInt32)NT.NTSmartPlayerDefine.SP_E_ERROR_CODE.NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS == ret)
	{
		// 通知用户延时
		MessageBox.Show("Too many capture image requests!");
	}
	else
	{
		// 其他失败
	}
}

如果需要实时录像：

private void btn_record_Click(object sender, EventArgs e)
{
	if (player_handle_ == IntPtr.Zero)
		return;

	if (btn_record.Text == "录像")
	{
		if (!is_rec_video_ && !is_rec_audio_)
		{
			MessageBox.Show("音频录制选项和视频录制选项至少需要选择一个!");
			return;
		}

		if (!is_playing_)
		{
			if (!InitCommonSDKParam())
			{
				MessageBox.Show("设置参数错误!");
				return;
			}
		}

		NTSmartPlayerSDK.NT_SP_SetRecorderVideo(player_handle_, is_rec_video_ ? 1 : 0);
		NTSmartPlayerSDK.NT_SP_SetRecorderAudio(player_handle_, is_rec_audio_ ? 1 : 0);

		UInt32 ret = NTSmartPlayerSDK.NT_SP_SetRecorderDirectoryW(player_handle_, rec_dir_);
		if (NT.NTBaseCodeDefine.NT_ERC_OK != ret)
		{
			MessageBox.Show("设置录像目录失败");
			return;
		}

		NTSmartPlayerSDK.NT_SP_SetRecorderFileMaxSize(player_handle_, max_file_size_);

		NT_SP_RecorderFileNameRuler rec_name_ruler = new NT_SP_RecorderFileNameRuler();

		rec_name_ruler.type_ = 0;
		rec_name_ruler.file_name_prefix_ = rec_name_file_prefix_;
		rec_name_ruler.append_date_ = is_append_date_ ? 1 : 0;
		rec_name_ruler.append_time_ = is_append_time_ ? 1 : 0;

		NTSmartPlayerSDK.NT_SP_SetRecorderFileNameRuler(player_handle_, ref rec_name_ruler);

		record_call_back_ = new SP_SDKRecorderCallBack(SDKRecorderCallBack);

		NTSmartPlayerSDK.NT_SP_SetRecorderCallBack(player_handle_, IntPtr.Zero, record_call_back_);

		NTSmartPlayerSDK.NT_SP_SetRecorderAudioTranscodeAAC(player_handle_, is_audio_transcode_aac_ ? 1 : 0);

		if (NT.NTBaseCodeDefine.NT_ERC_OK != NTSmartPlayerSDK.NT_SP_StartRecorder(player_handle_))
		{
			MessageBox.Show("录像失败!");
			return;
		}

		btn_record.Text = "停止录像";
		is_recording_ = true;
	}
	else
	{
		StopRecorder();
	}
}

停止录像：

private void StopRecorder()
{
	if (player_handle_ == IntPtr.Zero)
	{
		return;
	}

	NTSmartPlayerSDK.NT_SP_StopRecorder(player_handle_);

	btn_record.Text = "录像";
	is_recording_ = false;
}