基于HBase的高能物理数据存储及分析平台.pdf

第41卷第6期
计算机工程
2015年6月
No 6
Computer Engineering
June 2015
先进计算与数据处理?
文章编号:10003428(2015)06-0049-07
文献标识码
中图分类号:TP391
基于 Bibase的高能物理数据存储及分析平台
雷晓风,李强,孙功星
(1.中国科学院高能物理研究所,北京100049;2.中国科学院大学,北京100049)
摘要:高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几下个有意义的事例,该分析过程是
个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例
十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以 Hibase,ROOT,BEAN及
Mapreduce为基础的新型高能物理数据存储及处理技术系统。利用 Hbase存储数据、 Mapreduce实现并行处理,选择
ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统
相比,该系统具有更快的数埚处理速度,当顶筛选服务生效时能够更加有效地利用I/O和CPU资源
关键词:高能物理数据;大数据; Hibase数据库;ROOT框架;BEAN框架; Mapreduce框架
中文引用格式:雷晓风,李强,孙功星.基于 Hbase的高能物理数据存储及分析半台[J].计算机工程,2015
41(6):49-55
英文引用格式: Lei Xiaofeng, Li Qiang, Sun Gongxing. Hbase- based Storage and Analysis Platform for High Energy
Physics Data J. Computer Engineering, 2015, 41(6): 49-55
Hbase-based Storage and Analysis Platform for High Energy Physics Data
LET Xiaofeng., LI Qiang", SUN Gongxin
I Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China
2. University of Chinese Academy of Sciences, Beijing 100049, China)
Abstract High energy collider produces several billions of events in the whole life time. Physical analysis is to select
thousands of meaningful events from them and it is a typical big data processing and data mining application. Therefore
it is significantly important to design an efficient data structure, storage and access mechanism, so that the meaningful
events can be selected quickly. This paper introduces event data structure, storage and processing technology in popular
This paper anal yses the features of high energy physics analysis and proposes a new technology of data storing and
processing for high energy physics. This paper fertilizes Hbase to store data, uses Mapreduce to implement parallel
processing and selects ROOT and BEAN as high energy physics analysis frame. This paper also describes the specific
design and implementation of the new platform. Test result shows that compared with traditional data storage system of
high energy physics, the system has quick data processing speed, it can use effectively I/O and CPU resources when
reselection goes into effect
ey words) high energy physics data big data; Hbase database; ROOT frame; BEAN framework; Mapreduce
frame-work
DO1:10.3969/j.iss.1000-3428.2015.06.010
1概述
录成文件,并采用集中式存储与管理方式,但数据量
的增大对现有的集群结构提出了挑战。面对这一难
高能物理数据分析是典型的大数据挖捕应用,题,研究者们开始尝试采用互联网界提出的大数据
随着对撞机性能的改进和取数效率的提高,高能物处理方案( Hadoop),研究其在高能物理实验中的
理每年产生的数据量成倍数増长,其事例数达到应用。如 Nebraska大学研究了将HDFS作为CMS
10)°数量级。目前高能物理数据常以事例的形式记实验二级站点的存储系统,目前已有多个美国站点
基金项目:国家自然科学基金资助项目(11375223,11375221);国家自然科学基金A3前瞻计刘基金资助项目(61161140454);国家自然
科学基金委员会-中国科学院大科学装置联合基金资助项口(11179020)
作者简介:雷哓风(1987ー),女,博「:研究生,主研方向:分布式计算:李强,博「:研究生;孙功早,研究员
收稿日期:2014-07-17修回日期:201408-13E-mail:leif@ihep.ac.cn