T_BSIA 004-2022 信息技术 数据流程服务技术规范 第1部分：通用技术.pdf

ICS 35.020 L 70 团体标准团体标准 T/BSIA 004-2022 信息技术 数据流程服务技术规范 第 1 部分 通用技术 Information Technology Specification for Data Process Service Part 1 General Technology 2022-1205 发布 2022-1206 实施 北京软件和信息服务业协会北京软件和信息服务业协会 发布发布 北京软件和信息服务业协会团体标准 T/BSIA 004-2022 I 目 录 目 录.I 前 言.II 引 言.III 第 1 部分:通用技术.1 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 总则.4 5 服务场景及其技术规范准则.5 6 结构化数据流程服务技术规范.5 6.1 服务流程.5 6.2 服务技术.6 6.3 服务成果.12 7 非结构化数据流程服务技术规范.12 7.1 语音数据服务技术规范.12 7.2 文本数据服务技术规范.19 7.3 图像数据服务技术规范.25 7.4 视频数据服务技术规范.29 7.5 点云数据服务技术规范.32 参考文献.39 北京软件和信息服务业协会团体标准 T/BSIA 004-2022 II前 言 信息技术 数据流程服务技术规范分为以下若干部分:第1部分:通用技术 第2部分:技术评价 本标准按照GB/T 1.1-2020 标准化工作导则 第1部分：标准化文件的结构和起草规则规定起草。本标准由北京软件和信息服务业协会提出和归口。本标准起草单位：北京软件和信息服务业协会、北京中关村软件园发展有限责任公司、北京国际大数据交易有限公司、北京火山引擎科技有限公司、北京爱数智慧科技有限公司、北京金堤科技有限公司、北京云测信息技术有限公司、北京百分点科技集团股份有限公司、杭州曼孚科技有限公司、百融云创科技股份有限公司、联科云创（北京）科技有限公司、京北方信息技术股份有限公司、京东科技控股股份有限公司、昆仑海比（北京）信息科技有限公司、蚂蚁科技集团股份有限公司、北京深度搜索科技有限公司、辽宁京数云大数据科技有限公司、北京三快在线科技有限公司、五八同城信息技术有限公司、北京鼎兴达信息科技股份有限公司等 20 家单位。本标准主要起草人：龙飞、张磊、仓剑、杨楠、邓延嵘、汪蔚、郎佩佩、张锐、张凯悦、金亮、闵楠、沈苏，罗磊，王潇蔓、王猛猛、温士苇、仝仕京、贾宇航、冯晨旭、马伟凯、寇蕾蕾、张隽宁、张韶峰、李金伟、朱勇、宁平、王义刚、陈昊天、吴利、刘经梅、王昌钰、孙兆琳、昌文婷、杜霖、童玲、刘吉、胡成锴、宿博、赵冰洁、罗华丽，时圣师。本标准为首次发布。学兔兔 w w w.b z f x w.c o m 标准下载北京软件和信息服务业协会团体标准 T/BSIA 004-2022 III引 言 根据国家标准化管理委员会、中央网信办、国家发展改革委、科技部、工业和信息化部关于印发的通知（国标委联202035号）和北京市数字经济全产业链开放发展行动方案 要求，为进一步发挥北京软件和信息服务业协会行业促进作用，引导软件和信息服务企业响应国家和产业发展需要，促进数字经济产业链开放发展，推动数据流通、应用，结合北京软件和信息服务业实际，特制订本标准。本标准依据国家对人工智能标准体系，信息技术服务、数据分类、数据质量评价等相关标准文件，以及软件行业协会服务企业的成功经验，对数据流程服务的技术规范、评价体系、评估机构以及监督要求提出了规范性标准。为用户采购和选择数据流程服务供应商提供参考，也作为数据流通交易的重要参考标准，并且为服务商内部服务设计和质量控制提供参考。本标准是由相关软件行业协会、企业、评价机构、认证机构基于市场和行业发展需要而共同制定，有利于发挥行业自律和示范作用，促进软件产业健康、可持续发展，实现对客户的满意度。学兔兔 w w w.b z f x w.c o m 标准下载北京软件和信息服务业协会团体标准 T/BSIA 004-2022 1 数据流程服务技术规范 第1部分:通用技术 1 范围 本标准规定了数据流程服务技术的体系规范，适用于数据流程服务需求方、数据流程服务方、数据交易所、行业协会及行业管理部门在相关业务规范中作为参照，主要适用于：a)数据流程服务需求方采购数据流程服务时，对数据和服务产品及其供应商进行评价；b)从事数据流程服务、销售数据产品的企业或机构，建立数据和服务产品技术规范；c)从事数据资产评估、数据交易服务的企业和机构，建立数据和服务产品交易规则、规范；d)政府相关管理部门、产业园区等对数据流程服务进行事中、事后监管核查；e)其他需要应用的场合。2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 38667-2020 信息技术 大数据 数据分类指南 GB/T 36344-2018 信息技术 数据质量评价指标 3 术语和定义 下列术语和定义适用于本文件。3.1 3.1 数据流程服务数据流程服务 英文首字母缩写DPS，Data Process Service，是围绕数据处理流程形成的一系列服务，它使用数字技术，从实体世界或信息系统中采集、获取数据，并按后续应用、流通要求处理、输出数据。3.2 3.2 数据采集和预处理数据采集和预处理 指下述服务及产生的数据。采集事实、概念或指令等对象信息，形成原始数据，并对其进行处理，以保证数据质量达到后续使用的规范性要求。3.3 3.3 数据分析集成数据分析集成 指下述服务及产生的数据。分析多源数据，进行集成融合，以满足后续应用和服务的规范性要求。3.4 3.4 数据标注数据标注 指下述服务及产生的数据。通过标记、注释等工作，对数据进行处理，提取对象的特征，以保证数据质量达到后续数字应用使用的规范性要求。3.5 3.5 内容审核内容审核 学兔兔 w w w.b z f x w.c o m 标准下载北京软件和信息服务业协会团体标准 T/BSIA 004-2022 2 指下述服务及产生的数据。对互联网用户上传、发布或共享的内容（文字，图片，音频，视频等数据）进行识别，通过标记、注释等工作，提取违反相关法规或应用要求的内容特征，为后续处理提供依据的服务。3.6 3.6 数据流通分发数据流通分发 指下述服务及产生的数据。按照数据流通需要，对数据进行脱敏、隐私化、标准化处理并对外输出开发。3.7 3.7 数据流程服务工具平台数据流程服务工具平台 为DPS各项业务开发和提供用于服务操作、管理的工具软件及业务平台。3.8 3.8 数据流程支持服务数据流程支持服务 支持DPS企业、从业者和相关机构提升能力、加强合作、便利交易的服务，如业务培训、规范评价等。3.9 3.9 结构化数据结构化数据/非结构化数据非结构化数据 按结构化特征分类，数据可划分为:结构化数据,如零售、财务、生物信息学、地理数据等；非结构化数据.如图像、视频、传感器数据、网页等;半结构化数据.如应用系统日志、电子邮件等。（GB/T 38667-2020，7.2.3 按结构化特征分类）3.10 3.10 数据需求方数据需求方/数据服务客户数据服务客户 指提出数据服务需求的机构，包括组织内部的部门和外部的机构，在本标准中统称为需求方。需求方一般包括行业用户、人工智能企业和行业应用开发企业和机构。3.11 3.11 数据服务方数据服务方/数据服务供应商数据服务供应商 指为需求方提供数据服务的机构，包括组织内部的部门和外部的机构，在本标准中统称为服务方。3.12 3.12 变更数据捕获（变更数据捕获（CDCCDC）变更数据捕获（CDC，Change Data Capture）,它是数据库领域的技术,主要用于捕获数据库的一些变更,然后可以把变更数据发送到下游。3.13 3.13 语音语音/文本文本/图像图像/视频视频/点云数据点云数据 指以音频、文本、图像、视频、点云形式存在的，含有一定内容的原始的，或附有经过标注处理而产生的文字和标签的音频、文本、图像、视频、点云，统称为语音/文本/图像/视频/点云数据。点云是某个坐标系下的点的数据集。每个点包含了三维坐标、颜色、强度值等信息。点云在普通图像的基础上多了一个维度，直接提供了三维空间数据。3.14 3.14 语音活动检测语音活动检测 语音活动检测，又称语音端点检测,语音边界检测。目的是从声音信号流里识别和消除长时间的静音期，以达到在不降低业务质量的情况下节省话路资源的作用，它是IP电话应用的重要组成部分。静音抑制可以节省宝贵的带宽资源，可以有利于减少用户感觉到的端到端的时延。学兔兔 w w w.b z f x w.c o m 标准下载北京软件和信息服务业协会团体标准 T/BSIA 004-2022 3 3.15 3.15 背景噪声背景噪声/底噪底噪 背景噪声，或“本底噪声”。一般指在发生、检查、测量或记录系统中与信号存在与否无关的一切干扰。但在工业噪声或环境噪声测量中则是指被测噪声源以外的周围环境噪声。如对在工厂附近的街道测量噪声来说，若要测量的是交通噪声，则工厂噪声便是背景噪声。若测量的目的在于测定工厂噪声，交通噪声便成为背景噪声。在噪声测量过程中必须注意背景噪声的干扰程度。3.16 3.16 混响混响/混响时间混响时间 声波在室内传播时，要被墙壁、天花板、地板等障碍物反射，每反射一次都要被障碍物吸收一些。这样，当声源停止发声后，声波在室内要经过多次反射和吸收，最后才消失，我们就感觉到声源停止发声后还有若干个声波混合持续一段时间（室内声源停止发声后仍然存在的声延续现象）。这种现象叫做混响，这段时间叫做混响时间。3.17 3.17 信噪比信噪比 信噪比，又称为讯噪比。是指一个电子设备或者电子系统中信号与噪声的比例。这里面的信号指的是来自设备外部需要通过这台设备进行处理的电子信号，噪声是指经过该设备后产生的原信号中并不存在的无规则的额外信号（或信息），并且该种信号并不随原信号的变化而变化。同样是“原信号不存在”还有一种东西叫“失真”，失真和噪声实际上有一定关系，二者的不同是失真是有规律的，而噪声则是无规律的。3.18 3.18 切音切音 因录音操作导致的收音设备获取信号不完整，常表现为开始时或结尾处数据不完整。3.19 3.19 截幅截幅 因信号波形的幅度太大，而超出系统的线性范围的现象，称为截幅。截幅，就是把信号的幅值限制在某一固定的最大值的过程。有时，也称为限幅。3.20 3.20 采样率采样率 采样频率，也称为采样速度或者采样率，定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样频率的倒数是采样周期或者叫作采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个信号样本。3.21 3.21 比特率比特率 比特率是指每秒传送的比特(bit)数。单位为 bps(Bit Per Second)，比特率越高，每秒传送数据就越多，音质就越清晰。声音中的比特率是指将模拟声音信号转换成数字声音信号后，单位时间内的二进制数据量，是间接衡量音频质量的一个指标。3.22 3.22 声道声道 声道是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。声卡所支持的声道数是衡量声卡档次的重要指标之一，从单声道到最新的环绕立体声。3.23 3.23 丢帧丢帧 学兔兔 w w w.b z f x w.c o m 标准下载北京软件和信息服务业协会团体标准 T/BSIA 004-2022 4 丢帧指由设备引起的一段时间的信号丢失，即说话内容和底噪信息全部丢失。3.24 3.24 前后预留前后预留 指一段音频实际说话段的前后非说话段。3.25 3.25 噪声符号噪声符号 噪声符号指代用以表示非说话段的，含有特殊意义的符号。3.26 3.26 时间边界时间边界 指对一段语音数据在原始音频中的开始