COX高压缩率的中文XML文档压缩技术.pdf

Computer Engineering and Applications计算机工程与应用
2012,48(17)143
COX:高压缩率的中文XML文裆压缩技术
赵友桥,张山山,路松峰,吴志杰2
ZHAO Youqiao, ZHANG Shanshan, LU Songfeng WU Zhij
1.华中科技大学计算机科学与技术学院,武汉430074
2.中国工程物理研究院计算机应用研究所,四川绵阳621900
1. chool of Compuer Scince and Technolog Huazhong niversit of Science and Technology, Wuhan 430074, China
2. Insti e of Compuer Applicaton Technolog China Academy of En neering Physics, Mianyang Sichuan 621900 China
ZHAO Youqiao, ZHANG Shanshan, LU Songfeng, et al. COX: Chinese-oriented XM compressor with high
compression ratio. Computer Engineering and Applications, 2012, 48(17): 143-147
Abstract: To overcome the shortcoming of the current XML compression algorithms which do not distinguish b-
tween Chinese characters and English words, it presents a Chinese-oriented XML compressor with high compre-
sion ratio called COX. The input documents are preprocessed by using the technology of Chinese word segmenta
tion he sorted dictionary s ob ained by counting the word frequency and then the high-frequency and long-size
words are coded by using the Hufiman coding method. The items in the XML documents are classified by analyzing
the documents, the items with the same class tag are sent to the same container. Moreover, the numerical data are
processed especially in COX. The experimental results show that, compared to the general compression algorithms,
COX achieves higher compression ratio if the XML documents contain more Chinese words, while needing more
compression and decompression time as retum
Key words: Chinese XML document; data compression; Chinese word segmentation; dictionary
摘要:针对当前常用的XML压编算法没有考虑中文特点的情况,结合中文与XML的特点,提出一种高压缩
率的适合中文XML文档的压缩算法COX。利用中文分词技术对XML文档进行分词处理,通过统计词频后获
得排序的词典,利用 Huflman编码思想对高频及长词汇进行压缩编码;解析XML文档后,把文档元素进行分
类,同一类型的元素放入同一容器之中;算法还特别针对数字类型的数据进行了特殊处理。实验结果显示,相
对于通用的压縮软件,COX具有更好的压编效果,但压编和解压縮时间要一些
关键词:中文XML文档;数据压缩;中文分词;词典
文章维号:1002-8331(2012)171-0143-05文献标识码:A中图分类号:TP39
1引言
通用压缩算法没有考虑XML文档的结构特征,
可扩展标记语言XML具有简单灵活、跨平台和将XML文档作为单一的数据流进行处理,无法达到
易扩展等优点.已成为网络传输、数据交换和数据存良好的压缩效果。为此,国内外学者提出了多种专
储等领域的事实标准。为支持XML自描述特性,用XML压缩算法,包括 XMII1D、 Xgrind!、XCQ、
XML文档中存在大量重复的标签和属性,这造成了 Xcfde、XML-WRT等;这些专用压缩算法在压缩
数据冗余,为数据交换和存储带来不便,因此XML压效果方両有了很大改进,但大多没有考虑中文文档
缔研究开始引起关注。
的特点。在中国,政府、机关、企业和个人等主要使
基金目:国家自然科学基金委员会与中国工程物理研究院联合基金(No.10876012
作者简介:赵友桥柝(1957-),男,讲师,主要研究领域为信息安全、数据压缩;张山l山h(1986-),女,硕士研究生;路松峰(1968
通讯作者,男,博士,副教授:吴志杰(19%1-~),男,硬士生导师,研究员。E-mail:lusongfengt@hotmail.com
收稿日婀:2011-04-14修日期:201108-02 CNKI#I版日期:2011-09-29
DOI:10.3778/-iss1002-8331,2012.1028btp:/ww. cnki,net/ kcms/detail/l1.2127TP.20110929.1037.075.htul
万方数据