GY_T 366-2023 超高清晰度电视节目制作系统分布式存储技术要求和测量方法.pdf

GY中华人民共和国广播电视和网络视听行业标准GY/T 3662023超高清晰度电视节目制作系统分布式存储技术要求和测量方法Technical requirements and measurement methods for distributed storage in ultrahigh definition TV program production system2023-03-01 发布国家广播电视总局发 布2023-03-01 实施GY/T 3662023I目次前言.III引言.V1范围.12规范性引用文件.13术语和定义.14缩略语.15技术要求.15.1参数说明.15.2系统功能要求.25.3可靠性要求.35.4超高清晰度电视节目业务性能要求.35.5可维护性要求.56测量方法.56.1测试框图与拓扑.56.2测试说明.66.3功能测试.76.4可靠性测试.86.5超高清晰度电视节目业务性能测试.96.6可维护性测试.11GY/T 3662023III前言本文件按照GB/T 1.12020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国广播电影电视标准化技术委员会（SAC/TC 239）归口。本文件起草单位：中央广播电视总台、中国传媒大学、华为技术有限公司、成都索贝数码科技股份有限公司、国家广播电视总局广播电视规划院。本文件主要起草人：姜文波、徐进、梅剑平、刘玓、聂自非、邱亚、颜金尧、王振中、袁旭稚、陈欣、陈宇、李希尧、耿俊杰、崔俊生、覃毅力、阳鹏、黄弘、王斌、张园、蔡娟娟、张洋、马健、龚流平、杜俊、邵晨、徐哲。GY/T 3662023V引言存储系统是超高清晰度电视节目制作业务的基础资源之一。超高清晰度电视节目制作业务通常需要对超高清晰度视音频文件进行多轨叠加、编辑等操作，对于存储超高清晰度视音频文件的存储系统性能提出了更高的要求。为达到存储系统持续、稳定、高带宽的读写性能和更低时延的传输性能，使用分布式存储的系统架构，具备按需扩展、高带宽、低时延、大容量的特点，并具有服务质量保证能力以及跨平台跨业务的共享数据能力。GY/T 36620231超高清晰度电视节目制作系统分布式存储技术要求和测量方法1范围本文件规定了面向超高清晰度电视节目制作系统的分布式存储相关技术要求和测量方法。本文件适用于超高清晰度电视节目制作系统“分布式存储系统”的规划、设计、设备选型、检测、运行、维护、升级和管理。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 418092022超高清晰度电视系统节目制作和交换参数值3术语和定义下列术语和定义适用于本文件。3.1非编SEEKnonlinear-editing seeking在超高清晰度视频非线性编辑过程中，用户随机访问并解析存储中视音频帧数数据的过程。4缩略语下列缩略语适用于本文件。AD活动目录（Active Directory）AK/SK访问密钥/私密访问密钥（Access Key/Secret Access Key）CIFS通用因特网文件系统（Common Internet File System）IOPS每秒钟输入输出次数（Input/Output Per Second）I/O输入/输出（Input/Output）LDAP轻量目录访问协议（Lightweight Directory Access Protocol）NFS网络文件系统（Network File System）NIS网络信息服务（Network Information Service）QoS服务质量（Quality of Service）S3简单存储服务（Simple Storage Service）5技术要求5.1参数说明GY/T 36620232分布式存储系统最小配置环境通常为三个存储节点。超高清晰度电视节目视音频基本技术参数应符合 GB/T 418092022中的规定。超高清晰度电视节目制作业务中压缩编码和封装格式典型使用XAVC-I Class 300 10bit 50P MXF，4K超高清晰度视音频典型码率为500Mbps（即62.5MB/s），平均每帧图像数据量为1.25MB；8K超高清晰度视音频典型码率为4500（Mbps），即2Gbps（250MB/s），平均每帧图像数据量为5MB；8K超高清晰度视音频文件可采用JPEG XS编码格式，典型码率为2Gbps，平均每帧图像数据量为5MB。超高清晰度电视节目制作业务中主要的视音频压缩编码格式与码率见表1。表 1超高清晰度电视节目制作业务中主要的视音频压缩编码格式与码率压缩编码格式码率4K XAVC-I Class300 10bit 50P MXF500Mbps4K XAVC-I Class480 10bit 50P MXF800Mbps4K ProRes 10bit 50P MOV983Mbps4K DNxHR 12bit 50P MXF1.475Gbps8K JPEG XS 10bit 50P MXF2Gbps8K ProRes 10bit 50P MOV6Gbps8K DNxHR 12bit 50P MXF6Gbps8K XAVC-I Class 300 10bit 50PMXF42Gbps8K XAVC-I Class 480 10bit 50PMXF43.2Gbps5.2系统功能要求5.2.1用户权限管理分布式存储系统应支持权限管理功能，实现数据访问的可控性。权限管理应能基于用户和用户组，实现目录级访问权限控制。当用户接入分布式存储系统时，分布式存储系统对其进行认证和鉴权，应分别支持多种认证鉴权方式：a)CIFS访问：支持分布式存储系统本地用户鉴权、AD域鉴权、LDAP鉴权；b)NFS访问：支持客户端IP地址或IP地址段鉴权、客户端主机名鉴权、LDAP鉴权、NIS鉴权；c)S3访问：支持AK/SK鉴权。5.2.2存储资源配额管理分布式存储系统应支持用户配额和目录配额管理。能为特定的用户/用户组和目录设置配额，限制用户/用户组和目录最多可用的资源（包括存储空间以及文件数量），确保用户/用户组和目录的存储资源互不影响。5.2.3业务 QoS 功能（可选）分布式存储系统应支持基于文件目录级的带宽控制，减少不同文件目录间的相互影响，保障关键业务的性能。5.2.4NFS、CIFS 和 S3 协议互通访问（可选）分布式存储系统中的同一份数据应支持多种协议的访问，同一个文件应同时支持NFS、CIFS和S3客户端的访问，提高访问效率。GY/T 366202335.2.5偏移读取功能分布式存储系统应支持偏移读取功能。在超高清晰度电视节目制作业务中通常采用视音频混合文件。偏移读取是指针对视音频混合文件，分布式存储系统所具备的单独读取音频或视频的能力，分布式存储系统的实际流量带宽是单独音频或视频的带宽。5.2.6快速拼接功能分布式存储系统应能支持快速拼接的功能。快速拼接是指在超高清晰度视频合成中，能将多个合成服务产生的分片文件通过元数据编辑的方式快速整合成为一个文件。10个文件分片拼接时间应不大于5s。5.2.7文件系统硬链接功能文件系统应支持硬链接功能，硬链接是一个文件的一个或多个文件名，引用的是文件在文件系统中的物理索引。在客户端采用NFS协议访问过程中，客户端可以通过创建硬链接的方式进行文件共享。5.3可靠性要求5.3.1存储节点冗余在最小配置环境下，节点冗余应满足N+1（N为节点总数量，1为冗余节点数量）；节点足够的情况下，节点冗余应满足N+2（N为节点总数量，2为冗余节点数量）或更多，在发生冗余节点数量的节点硬件故障的情况下，系统应不丢失数据并能正常运行。5.3.2存储单节点内的冗余单节点配置应具有硬件冗余性，单节点发生两块硬盘故障，或单个风扇/电源单个故障的情况下，应不会造成数据损坏或该节点宕机、服务中断等。5.3.3存储网络冗余存储网络内部应采用双交换机架构，在发生单台网络交换机故障的情况下，应不丢失数据并能正常运行。5.4超高清晰度电视节目业务性能要求5.4.1收录场景对于收录场景，为满足稳定收录超高清晰度视音频信号的业务需求，存储路写带宽应达到,w，为超高清晰度视音频的路数，是一个正整数。,w的计算方法见公式（1）。,w=w w（1）式中：w稳定写性能达到超高清晰度视音频的路数，w为正整数；w一路超高清晰度视音频码率，单位为兆字节每秒（MB/s）。5.4.2编辑或播放场景对于编辑或播放场景，为满足稳定编辑或播放超高清晰度视音频文件的业务需求，存储路读带宽应达到,r，为超高清晰度视音频的路数，是一个正整数。,r的计算方法见公式（2）。,r=r r（2）GY/T 36620234式中：r稳定读性能达到超高清晰度视音频的路数，r为正整数；r一路超高清晰度视音频码率，单位为兆字节每秒（MB/s）。5.4.3端到端 I/O 平均响应时间在超高清晰度视音频播放场景下，端到端I/O响应时间是客户端每一次读或写存储的服务时间，端到端I/O平均响应时间指多次端到端I/O响应时间的算术平均值，单位为毫秒（ms）。超高清晰度视音频制作过程中，端到端I/O平均响应时间应不大于。的计算方法见公式（3）。=1000（3）式中：客户端访问每次请求存储的块大小，单位为兆字节（MB）；一路超高清晰度视音频码率，单位为兆字节每秒（MB/s）。示例：4K 超高清晰度视音频码率为 62.5MB/s，每秒 50 帧，平均每帧图像数据量 d 为 1.25MB，客户端每次读或写请求存储的块大小为 1.25MB 的情况下，根据公式（3）算出=20ms。5.4.4节目合成场景对于节目合成场景，一路合成应提供最大路超高清晰度视音频读操作，同时应满足一路超高清晰度视音频写操作，在倍速下，一路合成需要分布式存储系统提供的混合读写最大带宽为，见公式（4）。=(r,w)（4）式中：超高清晰度视音频合成速度的倍数（倍速）；r超高清晰度视音频读码率，单位为兆字节每秒（MB/s）；w超高清晰度视音频写码率，单位为兆字节每秒（MB/s）。支持路合成需要分布式存储系统提供读写带宽应为,=。5.4.5节目入库场景节目入库业务应能支持最大为10TB的单个视音频大文件写入。在每路入库不低于m倍速情况下，需要的写带宽应为,w=。支持路m倍速入库需要分布式存储系统提供写带宽为,w=,w。5.4.6节目备播场景节目备播业务应能支持最大为10TB的单个视音频大文件读取。在每路备播不低于m倍速情况下，需要的读带宽为,r=。支持路m倍速备播需要分布式存储系统提供读带宽为,r=,r。5.4.7超高清晰度非编 SEEK 场景超高清晰度非编SEEK画面的编辑体验应达到平均20帧每秒。为满足路超高清晰度视频非编SEEK场景要求，存储随机读带宽应为,=20 （MB/s），式中d为平均每帧图像数据量，单位为兆字节（MB）。5.4.8存储收录稳定性收录场景中，在分布式存储系统容量使用不低于50%且带宽负载不低于设计需求50%的情况下，持续写入时间应不低于4h。GY/T 366202355.5可维护性要求5.5.1系统扩展性分布式存储系统应具备大规模横向扩展能力，带宽和容量应随存储节点的扩充而得到系统扩展，单一文件系统存储容量应能扩展至PB级以上。5.5.2在线扩缩容分布式存储系统应支持在线扩容、缩容，在线扩容、缩容过程中不应影响已有存储内容的使用。5.5.3访问日志功能对目录或文件的创建、删除、改名等操作，以及对对象的创建、删除等操作，应写入日志，日志内容包含发起操作的客户端IP地址、操作时间和操作的资源等信息。5.5.4系统状态监控及硬件管理分布式存储系统的系统状态监控及硬件管理要求如下：a)应准确、清晰记录错误信息与告警信息，并能提供相关信息记录的性能和容量的实时信息；b)应能监控每个