面向并行多盘近数据计算的大规模键值存储系统


研究围绕LSM-tree结构及compaction策略、新型存储架构、异构计算等方面,优化compaction操作。然而随着处理器性能提升放缓、数据规模扩大及数据局部性下降,数据移动的开销逐渐增加。大规模键值存储系统中,compaction操作所引发的性能瓶颈问题日益显著。近数据计算(Near Data Processing, NDP)是一种以数据为中心的计算模式,将compaction操作迁移至存储位置,降低其代价,但大多采用单盘近数据计算设备。随着非结构化数据规模变大,单盘近数据计算设备的计算力不足以处理大规模键值存储的compaction操作,从而造成数据与计算力不匹配的问题,导致性能瓶颈。这使得单盘近数据计算设备难以满足高性能、高并发、低延时的应用需求。本研究主要开展面向并行多盘近数据计算的大规模键值存储系统,将计算任务卸载到多个近数据计算设备,以利用这些设备的并行协同能力来优化compaction操作,以解决单盘近数据计算架构下计算力不足而导致的数据与算力不匹配的问题,从而优化键值存储的性能和寿命。
在近数据计算与键值存储系统结合方面,设计多套近数据计算仿真平台,并在该平台上研究键值存储系统性能优化,成果发表在:
CCF A类期刊ACM Transactions on Storage
CCF A 类期刊IEEE Transactions on Computers
CCF B 类期刊ACM Transactions on Embedded Computing Systems
CCF A类中文期刊《计算机研究与发展》
中科院JCR二区IEEE Transactions on Cloud Computing
CCF B类期刊Journal of Parallel and Distributed Computing
CCF B类期刊Journal of Systems Architecture
CCF B类会议ICPP2019