BigData, il ruolo dei sistemi NoSQL

Nel capitolo precedente abbiamo raccontato la genesi dei BigData. Dall’inizio degli anni 2000 le grandi quantità di dati sono state identificate come il nuovo petrolio e le 3V si sono rivelate la base della tecnologia.

Cosa sono i sistemi NoSQL?

In tale contesto si innestano i sistemi NoSQL, ovvero diverse tecnologie di persistenza e gestione dati, nati tra la fine degli anni 2000 e il decennio successivo, finalizzati a gestire i dati con paradigmi e approcci nuovi, in contrapposizione con il modello dei database SQL (sarebbe meglio dire relazionali) che hanno dominato il mercato nei 30 anni precedenti.

Sarebbe più corretto parlare di sistemi NoRel, facendo riferimento al fatto che queste tecnologie non si basano sui database relazionali, ma quando nacquero l’elemento preponderante era che non supportavano il linguaggio NoSQL che era lo standard di tutti i database relazionali come Oracle, DB2, SqlServer, ecc…

Negli anni dal 2005 in poi, sono stati pensati, progettati e sviluppati approcci molto diversi per rispondere alle necessità che il mercato dei BigData ha imposto; se i database relazionali per anni sono stati l’unica risposta a qualunque esigenza in fatto di raccolta e gestione dei dati, per i sistemi NoSQL sono fioriti approcci diversi finalizzati a risolvere use case o problematiche specifiche:

Un’altra caratteristica dei sistemi NoSQL è che sono nati quasi tutti nell’ambito del mondo dell’open source, con un approccio orientato alla community che ha permesso di far circolare idee, proposte e approcci in modo molto più veloce e sperimentale dell’ambito enterprise o closed source, portando nel giro di pochi anni i big player del mondo dati a inseguire anche piccoli player.

Il sito db-engines.com, dal 2013, monitora il livello di diffusione dei principali sistemi di gestione dati del mercato, fornendo classifiche e statistiche mensili.

In questo grafico viene riportato come cambia negli anni il livello di popolarità delle tecnologie dei dati:

Se la popolarità e l’interesse dei database relazionali è rimasta invariata sul mercato, è evidente come invece negli anni sia cambiata la popolarità e la percezione dei sistemi NoSQL che sono continuamente in crescita.

Perché hanno avuto successo i sistemi NoSQL?

I sistemi NoSQL sono stati in grado di intercettare prima degli altri che il fenomeno Big Data avrebbe cambiato le cose e reso inadeguato o inefficienti e troppo costosi i database relazionali. E con un approccio aperto all’innovazione hanno fornito soluzioni stabili e funzionali per i problemi della rivoluzione digitale:

Ed è proprio la necessità di affrontare queste tipologie di problemi che ha introdotto un nuovo paradigma in ambito della ingegneria del software. Il nuovo paradigma è stato postulato nel 2011 da Martin Fowler e prende il nome di Polyglot Persistence:

“A complex enterprise application uses different kinds of data, and already usually integrates information from different sources. Increasingly we’ll see such applications manage their own data using different technologies depending on how the data is used. This trend will be complementary to the trend of breaking up application code into separate components integrating through web services”.

I sistemi complessi dell’era digitale hanno necessità di sfruttare i dati in maniera diversa. Pertanto, non è più possibile che una unica tecnologia possa risolvere tutte le esigenze. Occorre costruire soluzioni e applicazioni in grado di sfruttare più sistemi di persistenza diversi per poter effettivamente estrarre il petrolio conservato nei dati.

Ed è da queste radici che sono nate le figure di data scientist, data engineer, data expert, ecc.… molto richieste sul mercato per le loro competenze finalizzate a trasformare i dati in petrolio: dalla estrazione fino alla produzione di nuovo valore.