Big-Data

Big Data. Data Science. Data Lake. Il 2015 ha visto il consolidamento di molti nuovi termini nel mondo degli Analytics. Ma come spiegare ad un profano (quindi una qualsiasi persona che non abbia necessariamente una estrazione informatica) cosa sono esattamente e perchè sono così importanti? E come si incastrano queste novità all’interno di un ecosistema già esistente, come quello della Business Intelligence e dei Data Warehouse?

Per spiegarlo e renderlo immediatamente comprensibile, ho creato questo slide-deck “visuale”, parlando dei dati attraverso qualcosa che è molto più concreto e compresibile: le arance. Non esistate ad usarlo, l’ho usato più e più volte e funziona molto bene:

Grande novità in campo Big Data annunciata nei giorni scorsi durante l’AzureCon 2015. La novità è Azure Data Lake un servizio che mette insieme tutto quello che serve per creare una soluzione Big Data iper-scalabile nel cloud: HDInsight, Hadoop, Spark, Storm HBase e, novità assoluta, U-SQL un nuovo linguaggo per manipolare in modo distribuito i dati.

L’idea è quella di permettere ai Data Scientists di potersi focalizzare sui problemi da risolvere piuttosto che perdere tempo a mettere in piedi Hadoop & Co. che, per chi ha provato, è un lavoro tutt’altro che semplice e veloce. La cosa sembra in effetti in sovrapposizione con HDInsight e le varie VM con distribuzioni di Hadoop stesso, ma questo servizio ha qualcosa in più, come vedrete tra brevissimo.

Uno dei problemi più comuni quando si inizia a lavorare con il Cloud, ed in particolare quando si implementano soluzioni ibride, è quello di spostare i dati da e verso Azure. Questo breve articolo

Data Movement in Big Data space through Azure Data Factory

aiuta ad iniziare a fare un pò di chiarezza in merito all’argomento. Oltre a quanto potete leggere già ora nel suddetto articolo, ricordate anche che al SQL Saturday #454 ci sarà un sessione dedicata all’argomento.

Il 29 settembre c’è un interessante webcast fatto da Microsoft ed Hortonworks che mostrerà come poter utilizzare la piattaforma HDP (Hortonworks Data Platform) su Azure, sia tramite soluzione PaaS tramite HDInsight che IaaS via Virtual Machine

Iscrivetevi gratuitamente qui:

https://info.microsoft.com/WE-Azure-WBNR-FY16-09Sep-29-BigData-on-Azure-with-Hortonworks.html

Leggendo questo articolo pubblicato oggi “SQL Server Analysis Service 2016 CTP 2.3 DirectQuery in action” si può vedere come su un comune portatile sia possible avere 220 milioni di righe e creare una database SQL Server in cui, sfruttando il columnstore, si può creare una dashboard di una certa complessita che è in grado di essere aggiornata in soli 10 secondi. Questo su un laptop. Su un server è evidente che ci si possiamo aspettare perforamance ancora migliori.

Hortonworks ha reso disponibile su Azure la Sandbox utile per iniziare a prendere confidenza con l’enorme mondo di Hadoop. Se prima era necessario scaricarsi la VM ed eseguirla on-premises, ora è possibile fare tutto direttamente da Azure, ed avere la VM pronta in pochi minuti:

Hortonworks Sandbox with HDP 2.3 is now available on Microsoft Azure Gallery

E’ in questo modo veramente semplice iniziare a muovere i primi passi con Spark, ad esempio, e provare a creare una soluzione Big Data e/o un Modern Data Warehouse. Oppure, perchè no, provare l’integrazione di Hadoop con SQL Server tramite Polybase.

Ok, sembra uno dei quei post dal titolo esagerato usato solo per attrarre qualche click. Quando ho letto l’articolo ero *molto* scettico. Ed invece è vero. Ben 60 (sessanta!) libri completamente gratuiti dedicati ai temi della Data Science:

• Big Data
• Data Science
• Data Mining
• Machine Learning
• Python
• R
• Hadoop

Qui il link:

http://www.kdnuggets.com/2015/09/free-data-science-books.html

PS

Non ho ancora provato tutti  link, ma un campione significativo….ed in effetti tutti mi hanno portato alla versione PDF free del libro.

Il Microsoft Big Data & IoT Food Hackathon, parte del programma “Feeding the Accelerator” del Padiglione USA a Milano EXPO 2015, è la tua occasione per creare soluzioni e progetti innovativi per il mondo del cibo e il settore agro-alimentare, in linea con il tema di EXPO Milano 2015, “Nutrire il Pianeta, Energia per la vita”.

Unisciti a noi per un weekend di divertimento e hacking dedicato allo sviluppo di soluzioni e progetti innovativi per il mondo del Food, che ti permetterà di collaborare e confrontarti con altri appassionati di tecnologia ed innovazione come te per trovare nuovi modi di fare e vedere le cose.

Il blog di Microsoft Press ha annunciato la pubblicazione di un altro eBook gratuito: Introducing Microsoft Azure HDInsight.

Trovate tutti i dettagli in questo post.

Se volete sapere cosa significa realmente “Big Data” e quali sono i vantaggi che la vostra organizzazione può trarre usando questa fonte di informazioni, leggete questo eBook!

Buona lettura!