基于延迟时间的实时降载策略.pdf

第36卷第21期
计算机工程
2010年11月
VOL36 No 21
Computer Engineering
November 2010
教件技术与数据库。文章编号:10010文标识:A中团分类号:TP
基于廷迟时间的实时降載策略
季宇,越
(苏州大学计算机科学与技术学院,苏州2156006)
:降载可以有效地解决数据流流速的突变所引发的系统的过载问题。为此,分析现有降载策略在实时性方面的不足,不仅考虑系统
的处理能力,同时结合数据的处理延迟,提出基于延迟时间的降载策略(DSP)。实验结果表明,DSP可以有效地解决系统的过载,同时具
有较高的实时性。
关词:数据流;降载策略;数据流管理系统
Real-time Load Shedding Policy Based on Delay-time
J Zhen-yu, ZHAO Lei
(School of Computer Science and Technology, Soochow University, Suzhou 215006 China
I Abstract oad shedding is one of promising apaes w e s m becomes overloaded because of iregular changes of the amval rate of
tuples. This paper proposes a data stream load shedding model called Delay-based Shedding Polic (DSP)which not only considers the processing
capacity of sys em, but also the delay of processing data. The new policy based on delay-time is o fetch up the insufficiency of real time of existing
load shedding policy. Experimental result shows that the DSP not only resolves overload efficiently, but also has high delay-time
Key words] data stream; load shedding policy, data stream management system
概述
移除数据的策略。
数据流是以连续、无限、快速、实时的流形式出现的
文献[2习]对实时性做了擦讨,在处理流数据的过程中充分
种新型数据模式,在实时传感器信号分析、互联网监控和金利用了系统空闲时期的计算资源,增加系统的输出量
融领域交易日志分析等很多应用领域出现。这些应用的出现( Throughput),同时降低了ADMR( Average Deadline Missing
推动了数擗流管理方面的研究。国内外目前做了一定量的尝 Ration)
试,开发出一系列的原型系统对其进行管理。如 Aurora、
但是,对于检测何时降载的问题,文就[]采用的是类似
STREAM和 Borealis等系统
Aurora的方式,没有从实质上解决延迟时间长的何题。同时,
数据流具有到达速率高、流速不可预测、数据到达的不由于此种做法增加了额外的内存来放置丢弃的数据以提高降
可控性以及数据的量无限等特点,而数据流管理系统的处理载的准确性,但这种措施同时也増加了内存的压力,加剧了
速度、主存资源却相対有限,所以,必须考虑当数据流流速数据地处理延迟
达到高峰期时系统可能出现的过载。过载会显著增大数据的
另一方面,在实际的应用中,数据流的流速会在一定时
处理延迟,影响系统的有效性。针对这种情况,一般有3种间内持续增加,如图1所示。
措施:调度,降載和访问控制。其中,降载是最为有效的
方式,它包括随机降载和语义降载2种。
但是,这些策略存在不足之处:当系统处在过载状态
时,系统将经历一个较长的处理等待时间,因而不能够提供
给用户及时、有效的查询服务。同时,策略在数据流的流
速持续增长的情况下,会使得降載操作重复进行。当这种情
况出现时,系统将嫛花费更多的资源来处理过载。
Ot2な
因此,针对现有降策略在数据处理延迟上的不足,本
ミ1 Trample
文提出基于延迟时间的降载策略ー一DSP( Delay- based
在某一时刻4,系统此时的负載为,而系统的最大处
Shedding Polic。_DSP策略考虑在输出的元组数、因过期而理能力为い?因为与>b,所以系统此时需要降载,降栽的
被丢弃的元组数和延迟时间这三者之间建立关联,而非仅考
虑将系统的处理能力作为降载的依据。实验表明,此策略可
以有效地降低媺摒的处理延迟,同时,可以使得系统尽可能款金项目:国家自然科学基金资助项目(6087304万;江苏省自然科学
快地进入平衡状态,具有较高实时性和有效性。
基金资助项目(BK2008154)
2相关工作
作者简介:季震宇(1983-),男,硕土研究生,主研方向:数据库技
文献4提出了基于QoS( Quality of Service)的语义降載。术,数据挖掘;超雷,副教授
文献[5]考虑了在保证具备相应的置信度前提下,研究了随机收蒋日期:2010410E-mail:zhaol@suda.edu.cn
万方数据