Zohmg—A Large Scale Data Store for Aggregated Time-series-based Data

Abstract

Analyzing data at a massive scale is one of the biggest challenges that Last.fm is facing. Interpreting patterns in user behaviour becomes a challenge when millions of users interact in billions of combinations; the data sets must be analyzed, summarized and presented visually. This thesis describes a data store for multi-dimensional time-series-based data. Measurements are summarized across multiple dimensions. The data store is optimized for speed of data retrieval: one of the design goals is to serve data at mouse-click rate to promote real-time data exploration. Similar data stores do exist but they generally use relational database systems as their backing database. The novelty of our approach is to model multidimensional data cubes on top of a distributed, column-oriented database to reap the scalability benefits of such databases. ------------------------------------------------------------ //Sammanfattning// Att analysera data på en massiv skala är en av de största utmaningarna som Last.fm står inför. Att tolka mönster i användarbeteende blir en utmaning när miljoner användare samspelar i miljarder kombinationer. Datamängderna måste analyseras, summeras och presenteras visuellt. Detta examensarbete beskriver ett datalager för multidimensionell tidsseriebaserad data. Mått är summerade över multipla dimensioner. Datalagret är optimerat för dataextraheringshastighet: Ett av designmålen är att servera data i musklickshastighet för att främja utforskning av data i realtid. Liknande datalager existerar men de använder oftast relationella databassystem som databas för back-end. Nyheten i vårt angripssätt är att modellera multidimensionella datakuber ovanpå en distribuerad, kolumnorienterad databas för att utnyttja skalbarhetsfördelarna av sådana databaser.