基于MapReduce的高能物理数据分析系统.pdf

第40卷第2期
计算机工程
2014年2月
Vol40 No. 2
Computer Engineering
february 2014
专栏
文章编号:10003428(2014)02-000-05文献标识码:A
中图分类号:TP311
基于 Map Reduce的高能物理数据分析系统
賊冬松2,霍菁1,梁栋2,孙功星1
(1.中国科学院高能物理研究所,北京100049;2.中国科学院大学,北京100049
摘要:将 Mapreduce思想引入到高能物埋数据分析中,提出一个基丁 hadoop框架的高能物埋数据分析系统。通过建立事例的
TAG信息数据熔,将需要进?步分析的事例数域少2-3个数量级,从而减轻IO压力,提高分析作业的效率。利用基于TAG信息
的非例顶筛选模型以及事例分析的 Mapreduce模型,设计适于ROOT框架的数据拆分、事例读取、结果合并等 Mapreduce类
库。在北京正负电子对撞机实验上进行系统实现后,将其应用丁一个8节点实验集群工进行测试,结果表明,该系统可使4x10°个事
例的分析时削缩短23%,当增加节点个数时,每秒钟能够并发分析的事例数与集群的节点数基呈正比,说明事例分析集群只有
良好的扩胺性。
关键词:高能物理;大数;数据分析; Map Reduce模刑;集样;分布式计算
High Energy Physics Data Analysis System Based on Mapreduce
ZANG Dong-song", HUO J ing", LIANG Dong", SUN Gong-xing
(1. Institute of Iligh Energy Physics, Chinese Academy of Sciences, Beijing 100049, China
2. Universily of Chinese Acadcmy ol Sciences, Bcijing 100049, China
Abstract This paper brings the idea of Mapreduce parallel processing to high energy physics data analysis, proposes a high energy
physics data analysis systcm based on Hadoop Framework. I signilicantly reduces the number of events that need Lo do urther analysis b
2-3 classes by establishing an event 1AG information database, which reduces the 1'O volume and improves the efficiency of data analysis
jobs. It designs proper Mapreduce libs that fit for the ROOT framework to do things such as data splitting, event fetching and result
merging by using event pre-selection model based on T( information and Mapreduce model of event analysis. A real system is
implemented on BESM xperiment, an 8-nodcs clustr is used for dala analysis system tcsl, the Lest resull shows thal the syslcm shortens
the data analyzing time by 23% of 4*, and event number of concurrence analysis per second is hiher than cluster nodes when
adding more worker nodes, which explains that the case analysis cluster has a good scalability
fkey words I high energy physics; big dala; dala analysis; Mapreducc model; cluster; distributed compuling
DOI:10.396911S5.100-3428.2014.02.001
概述
艾持,成为人数据领的标准
日前 I ladoo在高能物理实验中的全面应用还非常少,
高能物理实骏产生:了海量数据,位于法国和開士边境但已经出现了许多探和部分应用。美国的7个CMS实验
的大型黜子对撞机(. arge I ladron Collider.IIC每年可产生网格站点采用了IDS作为仔储系统;意大利国家核物理
25PB的数据;改造后的北京正负电子对撞机(BEPC)和北研究所探索了利川 Hadoop的 Mapreduce框架分析高能物
京谱仪(BISIい的取数效率和性能大幅提高,2012年产生的理实验数据间;文献?探索了在亚马逊云计算中采用
数据量超过了过去几年的总和。数据量的不断膨账促使不 Hadoop框架进行高能物胛数据分析
断探索新的数据存储和计算技术。谷歌公可自2003年后相
本文分析高能物理数据分析的流程和特点,以及高能
继发表的GFS叫、 Mapreduce和 Bigtable-引领了联网物理普遍采加的ROOT?软件及ROO格式文件的IO特
界大数据处理的技术革新,而随后基」 Gooalc实现的性,给出一种基」 I ladoo框架的高能物理数据 Mapreduce
Hadoop开源项日,更是被众多的公司和厂商广泛采川和分析系统,并进行初步的评估。
基金项目:国家自然科学基金资助重点项I(90912004)
作者简介:城冬松(1981ー),男,博上:研究生,主研方向:分布式计算,海量数据管理;征背、梁栋,博上:研究生;孙功星,
研究员
收稿日期:2013-02-20修回日期:2013-03-20E-mail: donal. zang a mail. com