Fremtiden for BI-In The Cloud

Faktiske antal variere baseret på hvem du spørger, men den generelle konsensus er, at Business Intelligence (BI) og Analytics i skyen er et hurtigt voksende marked. IDC forventer en årlig gennemsnitlig vækstrate (CAGR) på 22,4% gennem 2013. Denne vækst er primært drevet af to slags SaaS applikationer. Den første slags er en til formålet særlig analytics-drevet ansøgning om forretningsprocesser såsom finansielle planlægning, optimering af omkostningerne, inventar analyse osv. Den anden type er en selvbetjenings-horisontal analytics program / værktøj, der gør det muligt for kunder og ISV'er at analysere data og skabe, integrere og udveksle analyser og visualiseringer.
Den kategori, der er vorden og vil kræve et betydeligt arbejde er den traditionelle almene formål BI på store data warehouses (DW) i skyen. For de fleste virksomheder, ikke kun alle DW er på stedet, men de fleste af virksomheden, foderstof-data i disse DW er on-premise så godt. Hvis disse virksomheder skulle vedtage BI i skyen, ville det betyde at flytte alle data, lagre, og de tilknyttede processer, såsom ETL i skyen. Men så, at de største muligheder innovere i skyen er til for at innovere på ydersiden af den. Jeg ser betydelige muligheder for at bygge black-box apparat stil systemer, der sidder på stedet og indkapsle på udskænkningssteder kompleksitet - ETL, lifecycle management, og integration - i at flytte data til skyen.
Antages det, at virksomhederne lykkes at flytte data til skyen, ser jeg et par udfordringer, hvis de behandles som muligheder, vil anspore de mest BI innovation i skyen.
Traditionelle OLAP data warehouses ikke oversætte godt ind i skyen:
De fleste af on-premise data warehouses køre på nogle smag af en relationel eller en kolonneformat database. Den mest BI-værktøjer bruger SQL til at få adgang til data fra disse DW. Disse databaser er ikke i sig selv designet til at afvikles på skyen. Oven i det, udførte optimeringer på disse DW såsom sharding, indeks osv. komprimering ikke oversætte godt ind i skyen enten siden sky er en vandret elastisk skala-out platform og ikke en vertikalt integreret, opskalering, system .
Organisationerne er genoverveje deres persistens samt adgang sprog og algoritmer muligheder, mens du flytter deres data til skyen. For nylig Netflix begyndt at bevæge sig deres systemer i skyen. Det er ikke en BI-system, men det har den samme egenskaber som stor mængde read-only data, et par indeks-baseret look-ups osv. Det nye system bruger S3 og SimpleDB i stedet for Oracle (på stedet). I løbet af denne overgang tog Netflix tilgængelighed over konsistens. Eventuel sammenhæng er helt sikkert en mulighed, BI leverandører bør overveje i skyen. Jeg er også begyndt at se DW i skyen, der bruger HDFS, Dynamo, og Cassandra. Ikke alle relationelle og søjleformede DW systemer vil oversætte et godt stykke ind NoSQL, men jeg kan ikke understrege nok, hvor vigtigt det re-evaluering af persistens butikken og få adgang til muligheder, når du beslutter at flytte dine data i skyen.
Hive, en DW infrastruktur er bygget oven på Hadoop, er en MapReduce mødes SQL tilgang. Facebook har en 15 petabyte data på deres DW kører Hive for at støtte deres BI behov. Der er meget få virksomheder, der ville kræve en sådan en skala, men det bedste ved denne tilgang er, at du kan vokse lineært, teknologisk såvel som økonomisk.
Skyen gør det ikke en god platform for I / O-intensive applikationer som BI:
Et af de største problemer med de store data warehouses er, ja, selve dataene. Enhver form for kompleks forespørgsel involverer typisk en intensiv I / O-beregning. Men I / O-virtualisering på skyen, er simpelthen ikke arbejde for store datasæt. Fjernbetjeningen I / O, på grund af sin latency, er ikke en holdbar løsning. Blokken I / O er en populær metode til I / O-intensive applikationer. Amazon EC2 behøver blok I / O for hvert enkelt tilfælde, men det kan naturligvis ikke holde alle de data og det er stadig en disk-baseret tilgang.
For BI i skyen skal lykkes, hvad vi virkelig brug for, er evnen til scale-out blok I / O, ligesom skala-out computing. Gode nyheder er, at der er mindst ét selskab, Solidfire, at jeg ved, arbejder på det. Jeg mødte Dave, grundlæggeren ved Struktur konferencen receptionen. Han forklarede mig, hvad han er op til. Solidfire har en softwareløsning, der bruger solid state-drev (SSD) som skala-ud blok I / O. Jeg ser et enormt potentiale i, hvordan dette kan bruges til BI-applikationer.
Når du lægger alle brikkerne sammen, det giver mening. Dataene er fordelt på tværs af sky på en række SSD'er, der er til rådighed for forarbejdningsvirksomheder, som blok I / O. Du kører nogle smag af NoSQL til at gemme og få adgang til disse data, der udnytter moderne algoritmer og endnu vigtigere horisontalt elastisk cloud-platform. Hvad du får, er råvare og lynende hurtigt BI til en brøkdel af omkostningerne med pay-as-you-go abonnement model.Now, det er hvad jeg kalder den fremtidige BI i skyen.