Cloudera traccia un percorso verso un’intelligenza artificiale responsabile su larga scala

Oct 19, 2023

Come analista, osservo Cloudera da diversi anni e ho espresso a lungo la mia opinione. Cloudera risolve le sfide della gestione dei dati nei cloud pubblici e privati ​​consentendo ai clienti di gestire e ottenere valore dai dati. Cloudera è leader nel settore dei Big Data da oltre un decennio, con 25 exabyte di dati gestiti e utilizzati da nove su dieci delle più grandi aziende globali in qualsiasi settore.

Cloudera si è evoluta nel corso degli anni, con Cloudera 1.0 focalizzato sulla creazione di una piattaforma dati aziendale open source, Cloudera 2.0 che riunisce Hortonworks e Cloudera per accelerare il percorso verso il cloud ibrido e Cloudera 3.0 che crea la prima vera piattaforma dati ibrida e multi-cloud. . In questo articolo spiegherò perché la Cloudera Data Platform (CDP) è ben posizionata per il nuovo mondo dell'intelligenza artificiale aziendale.

Cosa potrebbe andare storto?

L’intelligenza artificiale generativa utilizza algoritmi chiamati modelli linguistici di grandi dimensioni (LLM) per creare nuovi contenuti sotto forma di testo, immagini, audio o codice utilizzando istruzioni in linguaggio naturale.

Gli strumenti di intelligenza artificiale generativa come ChatGPT, che ha fatto notizia, si addestrano su grandi quantità di dati provenienti da Internet con qualità, contenuto, proprietà e privacy dubbi. Come molti di voi hanno sperimentato, incluso uno sfortunato avvocato di recente, ChatGPT presenterà in modo convincente risultati veritieri insieme a una totale disinformazione, lasciando all'utente il compito di distinguere i fatti dalla finzione.

Chiaramente, in un contesto aziendale, questo è inaccettabile. Per le imprese, il successo dell’intelligenza artificiale generativa e dei LLM associati dipendono dalla qualità e dall’affidabilità dei dati di formazione.

Cloud ibrido: tutti i dati sono pronti per l'intelligenza artificiale aziendale

In CDP, Cloudera ha realizzato una visione ibrida con un unico piano di controllo che gestisce un quadro comune di sicurezza e governance attraverso la piattaforma e tutti i servizi dati. La piattaforma CDP può spostare carichi di lavoro, dati e metadati associati in modo bidirezionale tra cloud pubblici e privati.

CDP Open Data Lakehouse fornisce i "dati di base" con sicurezza, governance e contesto aziendale da distribuire con modelli di base on-premise o nel cloud.

Affidarsi all’intelligenza artificiale inizia con la fiducia nei dati

Affinché l’intelligenza artificiale aziendale abbia successo, è necessario che ci sia fiducia nei risultati. La fiducia significa fidarsi dei dati sottostanti utilizzati per addestrare i modelli. Come parte dell'architettura CDP, Shared Data Experience (SDX) consente sicurezza, lineage e governance condivise su tutti gli strumenti di analisi e sui cloud pubblici e privati.

SDX utilizza due progetti open source, Apache Ranger, per definire, amministrare e gestire le policy di sicurezza e Apache Atlas, per la gestione e la governance dei metadati, per creare, classificare e governare un catalogo di risorse.

SDX include un catalogo dati per amministrare e individuare tutte le risorse di dati. I dati vengono profilati e migliorati con metadati avanzati, inclusi il contesto operativo, sociale e aziendale, creando risorse di dati affidabili e riutilizzabili e rendendoli rilevabili.

CDP ha la funzionalità per consentire sicurezza, governance e conformità olistiche durante l'intero ciclo di vita dei dati, compresi i modelli di machine learning negli ambienti di produzione.

La chiave qui è la capacità di spiegare la generazione del modello, i dati utilizzati per addestrare il modello e le origini dei dati: un'origine dati accurata e completa per la discendenza dell'ambiente di produzione.

Versione BYO di GPT e modelli Foundation

Molti clienti utilizzano già le funzionalità ML come parte di CDP. Il servizio di machine learning di Cloudera è ben consolidato e copre l'intero ciclo di vita del machine learning, dalla scienza dei dati sperimentale alla formazione e all'implementazione dei modelli. Cloudera fornisce una libreria di prototipi di machine learning applicato (AMP) end-to-end per aiutare i clienti a iniziare a sviluppare applicazioni.

Nel recente evento degli analisti Six Five Summit, Cloudera ha annunciato LLM Chatbot Augmented with Enterprise Data come modello per l'intelligenza artificiale generativa di modelli linguistici di grandi dimensioni in risposta ai clienti che desiderano creare una versione di GPT e modelli di base internamente anziché addestrare i dati su plug-in API pubblici.