In Databricks la governance dei dati passa da Unity Catalog, il catalogo centralizzato che decide chi vede cosa, traccia da dove arriva ogni dato, ne misura la qualità e registra ogni accesso. Per un’azienda del lusso o del retail vuol dire una cosa molto concreta: i dati di clienti, boutique, wholesale ed e-commerce restano su un’unica piattaforma, sotto regole uniche, pronti per l’analisi e per gli audit. In questa guida vediamo come funzionano i singoli strumenti, quale modello organizzativo scegliere e come impostare il progetto su scala di gruppo.

Greensharp
Dati governati, operazioni più efficienti
GreenSharp progetta e implementa soluzioni tecnologiche per aiutare le imprese del lusso a migliorare innovazione ed efficienza operativa.

Scopri GreenSharp

In breve

Indice

Che cosa significa governare i dati su Databricks

La documentazione Microsoft descrive la governance dei dati in Azure Databricks come un insieme di criteri, processi, ruoli e controlli tecnici che rende i dati sicuri, affidabili e usati in modo responsabile per tutto il loro ciclo di vita. Le componenti chiave sono cinque: sicurezza e accesso, derivazione (lineage) e osservabilità, qualità, metadati, conformità.

È una definizione utile perché separa due piani che nelle aziende si confondono spesso. Da una parte ci sono le regole: chi è proprietario di un dataset, quali dati sono riservati, chi approva un nuovo accesso. Dall’altra ci sono gli strumenti che le applicano in automatico. Databricks copre il secondo piano; il primo resta una scelta di business, che va presa prima di configurare qualsiasi permesso.

Nel lusso il tema pesa più che altrove. Le anagrafiche clienti delle boutique contengono dati personali di alto valore, i listini wholesale sono informazioni riservate, le giacenze per negozio alimentano decisioni di allocazione che valgono milioni. Se ogni sistema ha le sue regole, la fiducia nei numeri crolla al primo report che non torna. Ne parliamo più a fondo nella nostra guida sulla data governance nel retail.

Unity Catalog: il punto unico di controllo

Secondo la documentazione ufficiale, Unity Catalog è il layer di governance unificato per dati e AI: un solo punto per controllare gli accessi, scoprire gli asset, tracciare la lineage, classificare i dati sensibili e monitorarne la qualità. Governa dati strutturati e non strutturati, tabelle, file, modelli di machine learning.

La pagina Microsoft Cos’è Unity Catalog? ne elenca i pilastri. Li riassumiamo così:

Pilastro Che cosa fa Esempio nel lusso e nel retail
Controllo di accesso unificato Definisce i permessi una volta sola, validi su tutti i workspace Il team CRM legge i dati clienti, il merchandising no
Individuazione dei dati Catalogo ricercabile di tabelle, viste e modelli Un analista trova subito la tabella “vendite per boutique” certificata
Lineage automatica Ricostruisce il percorso dei dati fino alla colonna Si capisce quali dashboard cambiano se cambia il listino
Audit Registra chi ha fatto cosa e quando Prova per il DPO di chi ha consultato i dati personali
Monitoraggio della qualità Rileva anomalie di freschezza e completezza Allerta se le vendite di un negozio non arrivano entro la notte
Condivisione sicura Scambio di dati con terzi tramite il protocollo aperto Delta Sharing Sell-out condiviso con un department store partner

La gerarchia è a tre livelli: catalogo, schema, tabella (o vista, volume, modello). Le procedure consigliate di Databricks suggeriscono, per l’architettura medallion, di creare schemi per i livelli bronze, silver e gold dentro ogni catalogo, con nomi parlanti come sales.bronze_transactions o sales.gold_metrics. Sembra un dettaglio, ma una convenzione di nomi decisa all’inizio evita mesi di confusione quando i domini diventano dieci.

Accessi e permessi: privilegi, ABAC, filtri e maschere

Il controllo degli accessi in Unity Catalog lavora su tre strati, tutti applicati centralmente.

1. Privilegi gerarchici. Con GRANT e REVOKE si assegnano diritti come USE CATALOG, USE SCHEMA o SELECT. I privilegi concessi su un catalogo si ereditano sugli oggetti sottostanti, quindi conviene assegnarli a gruppi e non a singole persone: quando un buyer cambia ruolo, basta spostarlo di gruppo.

2. Controllo basato su attributi (ABAC). Invece di gestire tabella per tabella, si definiscono policy legate ai tag. Una policy dice, ad esempio: “ogni colonna con tag di dato personale è mascherata per chi non appartiene al gruppo CRM”. Le policy ABAC si agganciano al catalogo o allo schema e si applicano da sole a tabelle e colonne in base ai governed tag. Quando arriva una nuova tabella taggata, è già protetta.

3. Filtri di riga e maschere di colonna. Sono il livello più fine. Un filtro di riga mostra a ciascun utente solo le righe che gli competono; una maschera di colonna nasconde o offusca un campo.

Un esempio tipico in una maison con rete di negozi diretti:

Tutto questo si ottiene su un’unica tabella, senza copie per reparto. Meno copie significa meno rischio e un solo numero di riferimento.

Lineage e audit log: due prove diverse

Unity Catalog cattura automaticamente la lineage a livello di colonna per query e trasformazioni, e la mostra in modo visivo in Catalog Explorer o tramite le tabelle di sistema. Secondo la stessa pagina, per gli eventi registrati dopo il 1° settembre 2024 la lineage resta consultabile in Catalog Explorer senza scadenza, mentre le tabelle di sistema mantengono una finestra mobile di 395 giorni.

Microsoft aggiunge che la lineage si aggrega su tutti i workspace collegati allo stesso metastore e serve a quattro cose: analisi d’impatto, indagine sulle cause di un errore, tracciamento dei dati sensibili per gli audit di conformità, comprensione delle dipendenze tra team.

Gli audit log rispondono a una domanda diversa: non “da dove viene questo numero”, ma “chi ha letto, modificato o condiviso questo dato”. In Unity Catalog sono esposti in una tabella di sistema interrogabile con SQL, quindi un DPO o un auditor può ottenere un estratto in pochi minuti.

Trattarli come un unico sistema è un errore frequente. Quando il Garante, un revisore o il collegio sindacale chiede evidenze, servono entrambe: la lineage dimostra che il dato del bilancio deriva dalla fonte corretta, l’audit log dimostra chi vi ha avuto accesso. Per questo le linee guida architetturali di Databricks raccomandano di attivare gli audit log fin dal primo giorno, non quando arriva la prima ispezione.

Lineage e audit log: due prove diverse

Qualità e classificazione dei dati sensibili

Monitoraggio della qualità

Il monitoraggio della qualità dei dati in Unity Catalog rileva anomalie di freschezza (il dato è arrivato quando doveva?) e di completezza (ne è arrivato abbastanza?), e profila le proprietà statistiche delle tabelle.

Nel retail la freschezza è il controllo che fa la differenza. Se i flussi dal POS di un flagship store si fermano alle 22, il replenishment del mattino lavora su giacenze sbagliate. Un’allerta automatica intercetta il problema prima che diventi una rottura di stock su una referenza iconica. La qualità va trattata come disciplina continua dentro le pipeline, non come pulizia una tantum prima di un progetto. Se i dati arrivano da casse e sistemi di negozio, la nostra guida sull’integrazione dei dati del punto vendita spiega come impostare i flussi a monte.

Classificazione automatica

La Data Classification di Databricks usa un agente AI per riconoscere e taggare in automatico le colonne con dati sensibili. L’elenco dei tag di classificazione supportati comprende nome, email, telefono, data di nascita e passaporto, oltre a categorie particolari rilevanti per il GDPR come dati sanitari, convinzioni religiose e orientamento sessuale. Patenti e targhe vengono riconosciute anche nel formato italiano.

Il valore sta nella combinazione con ABAC: la classificazione applica il tag, la policy maschera la colonna. Per una maison con decine di sistemi sorgente (CRM, e-commerce, clienteling, programmi fedeltà) significa non dover scoprire a mano dove sono finiti i dati personali.

GDPR: cosa cambia in pratica per un’azienda italiana

Il GDPR non si ferma alla porta del lakehouse. La guida Microsoft per preparare i dati alla conformità GDPR ricorda che, su richiesta esplicita, l’azienda deve cancellare in modo definitivo i dati personali raccolti su un cliente entro un periodo stabilito, ad esempio entro un mese di calendario. L’obbligo riguarda tutti i dati, anche quelli in sorgenti esterne come Kafka, file e database.

L’indicazione operativa è chiara: cancellare prima nel livello bronze e poi propagare le eliminazioni a silver e gold, oltre che nei sistemi a monte. Chi ha copie sparse in sandbox e export Excel scopre presto che il diritto all’oblio è soprattutto un problema di architettura.

Le procedure consigliate di Databricks sottolineano due punti utili in sede di verifica:

Per un gruppo italiano con clientela internazionale, il consiglio pratico è mappare fin dall’inizio quali cataloghi contengono dati personali di residenti UE e chi ne è responsabile. Le scelte su basi giuridiche, tempi di conservazione e trasferimenti fuori dall’UE spettano al DPO e al legale privacy: la piattaforma applica le regole, non le decide.

Centralizzato, federato o ibrido: quale modello scegliere

La tecnologia è la stessa, il modo di organizzarla cambia. Le best practice di governance per dati e AI descrivono tre modelli.

Modello Come funziona Quando è adatto
Centralizzato Gli amministratori di governance sono proprietari del metastore e di tutte le regole Forte controllo IT centrale e requisiti di conformità rigorosi
Federato Ogni catalogo è un dominio (per brand, regione o funzione) con propri responsabili Grandi organizzazioni con business unit autonome
Ibrido Centralizzato sui dati sensibili, federato sui dati operativi La maggior parte delle organizzazioni enterprise

Nel lusso l’ibrido è quasi sempre la scelta naturale. Pensiamo a un gruppo con più maison: i dati clienti e quelli finanziari restano sotto regole centrali, mentre ciascun brand gestisce in autonomia i propri cataloghi di prodotto, collezioni e campagne. Il controllo resta dove serve, la velocità dove conta.

Implementare la governance in sei passi

  1. Mappare dati e responsabili. Elencare le sorgenti (SAP, CRM, e-commerce, POS, wholesale) e assegnare a ogni dominio un data owner di business, non solo tecnico.
  2. Scegliere il modello organizzativo. Centralizzato, federato o ibrido, deciso con IT, legale e business prima di creare il primo catalogo.
  3. Disegnare la struttura dei cataloghi. Cataloghi per dominio, schemi per livello medallion, convenzioni di nome condivise.
  4. Definire tag e policy ABAC. Partire dalla classificazione dei dati personali e costruire le policy di mascheramento sui tag, così le nuove tabelle nascono protette.
  5. Attivare audit, lineage e qualità dal primo giorno. Permessi granulari e audit log vanno previsti fin dall’avvio, come raccomandano le linee guida Databricks.
  6. Migrare in modo selettivo. Chi parte da Hive Metastore ha interesse a non trasferire tutto così com’è. Nella sua migrazione interna, Databricks ha scelto un approccio trasformazionale, con migrazione selettiva e organizzata, invece del lift-and-shift.

Il passo che più spesso si salta è il primo. Senza owner chiari, anche la configurazione tecnica migliore produce permessi richiesti via email e approvati da nessuno. Abbiamo raccolto le trappole più comuni nella guida agli errori nella gestione dei dati aziendali.

Il nostro punto di vista

Nei progetti con le aziende del lusso e del retail vediamo la governance come la condizione per usare davvero i dati, non come un costo di conformità. Quando un merchandiser si fida del numero che vede, decide più in fretta; quando il DPO ha audit log e lineage a portata di query, l’ispezione smette di fare paura.

Il punto critico, per la nostra esperienza, non è Databricks in sé ma tutto ciò che vi arriva: SAP S/4HANA, le integrazioni SAP PI/PO, i flussi dai negozi, il wholesale. Una governance che si ferma al lakehouse lascia scoperto il tratto in cui il dato nasce. Per questo affrontiamo integrazione, piattaforma e regole come un unico progetto, con team senior che conoscono i processi core del Fashion Luxury.

Il nostro consiglio è partire da un dominio ad alto valore, di solito cliente o vendite per boutique, e portarlo in produzione con policy, qualità e audit completi. Diventa il modello da replicare sugli altri domini, con regole già collaudate.

Silvia

Come vi affianchiamo nel progetto

Greensharp progetta e implementa piattaforme dati per aziende del lusso e del retail, con competenze su Databricks, Snowflake, SAP BTP e Boomi. Con Modern Data Fabric costruiamo un’architettura in cui integrazione, catalogo, permessi e qualità lavorano insieme, dai sistemi SAP fino alle dashboard di direzione.

Greensharp

Se state valutando l’adozione di Unity Catalog o la migrazione da un metastore esistente, il nostro servizio di Advisory & Strategy vi aiuta a definire modello di governance, roadmap e priorità. Per capire come i dati governati diventano analisi utili per le boutique, leggete anche la nostra guida all’analisi dei dati retail con Databricks.

Domande frequenti

Unity Catalog è obbligatorio per la governance su Databricks?

È la soluzione di governance unificata integrata nella piattaforma ed è la base su cui Databricks costruisce accessi, lineage, classificazione e qualità. Lo stesso team Databricks ha ritenuto uno spreco sviluppare da zero queste funzioni sul vecchio Hive Metastore. Per un nuovo progetto enterprise è il punto di partenza naturale.

Qual è la differenza tra data governance e data management?

La governance stabilisce le regole: chi è responsabile, chi accede, quali standard di qualità valgono. Il data management è il modo in cui i dati vengono trattati ogni giorno secondo quelle regole: pipeline, archiviazione, trasformazioni. In Databricks Unity Catalog è il punto in cui le regole diventano controlli automatici.

Come si gestisce il diritto all’oblio in un lakehouse Databricks?

Si cancellano i dati personali nelle sorgenti a monte e in Databricks, iniziando dal livello bronze e propagando le eliminazioni a silver e gold. La lineage aiuta a individuare tutte le tabelle derivate che contengono i dati da rimuovere. Tempi e casi di esclusione vanno definiti con il DPO.

Quanto tempo serve per implementare la governance su scala di gruppo?

Dipende dal numero di sorgenti, domini e workspace, e dal punto di partenza. Un approccio per domini permette di portare in produzione il primo in tempi contenuti e di estendere poi lo stesso modello agli altri. Una fase iniziale di assessment chiarisce perimetro e priorità.

Fonti

Raccomandati

author avatar
wp_11388387

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *