Stordatasystemer og deres egenskaper

Begrepet stordata er på mange måter mer dekkende som en betegnelse for en samfunnsutvikling enn for en bestemt teknologi, og har så langt ikke fått noen entydig definisjon. Isteden karakteriseres stordata som regel ved hjelp av de såkalte tre V’ene Volume, Velocity og Variety: Stordata er data av forskjelligartet natur (Variety), som kommer i store mengder (Volume) og/eller har hyppig oppdateringsfrekvens (Velocity) og som et resultat av dette ikke lar seg effektivt håndtere eller bearbeide ved hjelp av tradisjonelle metoder. I denne rapporten tar vi for oss en samling egenskaper som vi mener karakteriserer systemer designet for å håndtere stordata: • støtte for dataanalyse • programmeringsmodell • skalerbarhet • tilgjengelighet vs. konsistens • sårbarheter og feiltoleranse • primærminnesystemer vs. persistenssystemer • støtte for iterative beregninger, • input/output-profil • gjenbrukbarhet av data Disse egenskapene kan tjene som en huskeliste over hvilke avveiinger man må gjøre når man skal designe en systemløsning for stordataproblemer. Rapporten skisserer også fem hovedklasser av komponenter som benyttes når man komponererer stordataløsninger: • tabulære databaser • grafdatabaser • strømmesystemer • programmeringsrammeverk • analyse- og visualiseringssystemer Når man har et stordataproblem som fordrer systemstøtte, vil karakteristikaene til en slik løsning være avhengig av både problemet som skal løses og dataene som skal benyttes. Det finnes imidlertid et rikt utvalg av komponenter som kan settes sammen i henhold til disse karakteristikaene. Mange av disse komponentene er også fritt tilgjengelig, noe som gjør at design av stordataløsninger i stor grad kan betraktes som skreddersøm av åpne komponenter.