Nel 2012 l’industria della pubblicità online valeva 36 mila milioni di dollari nei soli Stati Uniti, con la maggior porzione di fatturato (46%) attribuibile al cosiddetto “search engine marketing” (SEM). Oggi le proiezioni di spesa globali in pubblicità su canali digitali arrivano a oltre 680 mila milioni di dollari (https://www.statista.com/outlook/dmo/digital-advertising/worldwide), dunque i dati del 2012 sembrano poca cosa, eppure già all’epoca bastarono a spingere un team di ricercatori di eBay a chiedersi se fosse in qualche modo possibile quantificare l’impatto effettivo di tali attività sulle performance economiche dell’azienda.

Spoiler: sì. E la cosa non piacque a Google.

Analizzando i dati a partire da una semplice correlazione tra spesa in attività pubblicitaria di tipo SEM e vendite, i ricercatori notarono in prima battuta una relazione positiva: per ogni 10% di aumento in spesa pubblicitaria sembrava esserci un aumento del 9% nelle vendite: un risultato oltre ogni più rosea aspettativa e quasi troppo bello per essere vero. Infatti, rieseguendo l’analisi tenendo in considerazione elementi di controllo per la variabilità geografica e temporale, l’effetto calava all’1.3%. Un risultato fortemente ridimensionato, ma ancora positivo. Tuttavia, anche tale stima non teneva in considerazione il maggior problema di un‘analisi di questo tipo: ovvero che per la spesa in pubblicità, nello specifico contesto delle attività di SEM, l’ammontare speso dipende dal comportamento degli utenti che fanno una determinata ricerca su browser.

Gli economisti e gli statistici hanno un nome simpatico per questo problema, che rappresenta una delle principali sfide all’interpretazione causale di un fenomeno: endogeneità. Semplificando molto, l’endogeneità in un problema analitico si presenta quando una delle variabili di cui vogliamo misurare l’effetto ($ speso in pubblicità) sulla variabile target (vendite) è correlata a qualcosa che non vediamo o conosciamo, e che è altresì correlato a la nostra variabile target. In questo caso applicato parliamo dell’intenzione o propensione dell’utente a fare un acquisto sul sito di eBay nel momento in cui fa ricerca su browser.

Spoiler n° 2: tenere sotto controllo un problema di questo tipo è possibile, e tra poco vedremo come. Nel caso specifico, la conclusione generalizzabile dei ricercatori eBay è stata che le attività SEM hanno un impatto limitatissimo o nullo, se non altro per brand riconosciuti come eBay, e che la correlazione tra click e acquisti, individuata come misura di efficacia da molte piattaforme attive nel settore pubblicitario non è un KPI affidabile di performance di questo tipo di attività. Come dici? Aspetta, aspetta, mi sembra di sentirti già gridare “Intelligenza Artificiale, AI generativa, LLM!”.

Plot twist: almeno per il momento, non parliamo di questo.

Anzi, ora che il mondo si è accorto che “Intelligenza Artificiale” non è più solo un’espressione da film di fantascienza anni ‘80 vorrei provare ad andare oltre, parlandovi di qualcosa che non sia l’ennesima rassegna di scenari apocalittici in cui i LLM o i modelli di Computer Vision minacciano di ridimensionare sostanzialmente l’utilità di talune occupazioni, se non di renderle totalmente superflue.

Per individuare i corretti nessi di causalità partendo dai dati così da prendere le giuste decisioni, l’AI non rappresenta la soluzione, quanto piuttosto uno strumento che può essere utile, ma non risolutivo in sé.

Finora, l’Intelligenza Artificiale (nella quale faccio rientrare anche la cosiddetta AI tradizionale fatta di quel machine learning utilizzato in maniera estensiva ormai da qualche decennio dalle aziende) ha consentito alle aziende di aumentare efficienza ed efficacia di una serie di attività. Con ciò non voglio certo sminuirne l’importanza e il ruolo, anzi: basti pensare a processi chiave per alcuni settori come quello assicurativo, in cui l’insieme di tante piccole decisioni operative (ad esempio l’identificazione di quali sinistri attenzionare in ottica anti-frode) costituisce un vantaggio centrale per il business. O ancora, poter identificare quali clienti contattare per il successo di una determinata campagna commerciale è di vitale importanza per un retailer.

Voglio però dire che, se fino ad ora le aziende (o una parte di esse) sono riuscite a fare leva in maniera efficace sul patrimonio informativo per automatizzare, velocizzare e migliorare gli esiti di una serie di decisioni operative, ancora poco hanno raggiunto sul piano delle decisioni strategiche, per le quali, pur non essendoci un totale rifiuto al riferimento al dato, ne manca ancora una chiave di lettura di assoluto valore: la causalità.

Se in fase di addestramento di un modello predittivo finalizzato al supporto di decisioni operative possiamo “accontentarci” (almeno inizialmente, al lordo di eventuali implicazioni di fairness) di far leva su correlazioni osservate, che possono in taluni casi essere spurie (“falsificate”), nel caso di modelli usati a supporto di decisioni strategiche, questo chiaramente non è possibile (o, se non altro, fortemente sconsigliato). Immaginatevi di decidere di investire milioni, sulla base di una correlazione che poi si rivela spuria o, ancor peggio, frutto di un nesso di causalità inverso.

Ma andiamo per ordine: cosa intendiamo per inferenza causale o identificazione di rapporto di causalità? Per diversi gradi di approfondimento:

1. Verificare se, nel processo descritto dai dati, esiste o meno un nesso causale.
2. Quantificare l’effetto causale.
3. Comprenderne l’azionabilità, ovvero come agire a partire da questa informazione.

Perché comprendere il concetto di causalità è così importante per il business? Declinando in un contesto aziendale ipotetico i tre gradi sopra potremmo individuare alcune domande:

“La campagna commerciale ha avuto un effetto in termini di revenues?”; “Che aumento ha comportato in termini di redemption la prioritizzazione dei contatti?”; “Quanto devo investire nell’attività X per avere un determinato ritorno?”.

Sono tutti interrogativi apparentemente semplici, ma il più delle volte, rispondendo senza fare attenzione a implicazioni causali, il rischio è di arrivare a risposte distorte, che incorporano elementi endogeni privi di relazione con l’oggetto della nostra domanda.

Bisogna partire da un presupposto differente, un altro modo di osservare il problema. Ci viene in aiuto il concetto fondamentale di “controfattuale”.

Per rispondere correttamente alla domanda “La campagna commerciale ha avuto un effetto in termini di revenues?” dovrei essere in grado prima di rispondere alla domanda “Che revenues avrei ottenuto se non avessi fatto la mia campagna commerciale?”.

Occorre confrontare le revenues in presenza e assenza della campagna commerciale (che, astraendo, potremmo chiamare “trattamento” o “intervento”). Il punto sta nel fatto che, essendo tipicamente lo stato di assenza di trattamento non verificato, appunto controfattuale, non è immediato ricostruire questa stima a partire dai dati.

Esistono due possibilità per ottenere questa informazione. La prima è predisporre un vero e proprio esperimento. Mutuando ancora da un possibile setting di CRM legato ad una campagna commerciale, ciò significa destinare parte della popolazione a cui si vorrebbe sottoporre il trattamento (il contatto) ad un set di controllo. In questo modo sarà possibile utilizzare a posteriori l’esperienza di questo set per costruire una stima del controfattuale di ciò che vogliamo verificare e misurare.

Ma se è così facile, perché non lo si fa sempre?

Perché comporta sempre un costo, e anche quando si è disposti a sostenerlo, può essere molto complesso definire il design dell’esperimento.

Nel caso della campagna commerciale, l’identificazione di un campione di controllo implica ex-ante la rinuncia a vendite potenziali che potrebbero scaturire dal contatto. In altri casi, invece, il “trattamento” di cui si vuole valutare l’impatto può essere in realtà il risultato di una combinazione di più fattori e definire un esperimento utile a quantificare gli effetti di ciascun driver sul processo può richiedere un vero e proprio disegno degli esperimenti (DOE). Si pensi in questo caso ad un processo di produzione concretizzato in una ricetta in cui sono combinate diverse leve di azione.

Talvolta, semplicemente non è possibile avere discrezionalità nella somministrazione del trattamento a monte di una raccolta dati, e si deve invece partire da quel che si ha.

 Ed ecco la seconda possibilità. In questi casi, di solito non si è sostenuto alcun costo legato all’individuazione di un set di controllo, ma, si dovrà spendere qualche energia in più in fase di analisi. Allora si può cercare di utilizzare alcune strategie identificative o tecniche di modellazione per ricondurre il dato disponibile ad un contesto “quasi-sperimentale”. Fare ciò significa studiare i processi sottostanti i dati, le loro rilevazioni e le modalità di somministrazione del trattamento/i per capire se e come è possibile ricondurci a un contesto che consenta di stimare un controfattuale. Questo tipo di analisi è resa possibile da una serie di strumenti e metodologie sviluppate a partire dagli anni ‘80 in ambiti come l’econometria e la statistica medica. Metodologie come il Propensity Score Matching, Difference-in-Difference, e Regression Discontinuity Design, che hanno via via incorporato al loro interno alcune tecniche di derivazione machine learning (soprattutto per affrontare problemi di riduzione della dimensionalità).

Perché non si fa più spesso uso e riferimento a questi approcci? Perché è complesso e costoso, e il più delle volte lo si fa per una stima “one-off”. O ancora, tristemente, perché la realtà potrebbe non essere necessariamente dolce. D’altra parte, questa stima one-off consentirebbe di istruire scelte in maniera robusta e senza timore di incorporare fattori di confondimento.

Inoltre, a intervalli regolari si leggono articoli e interventi in cui si spiega come si facciano passi avanti nel considerare logiche causali nel mondo dell’Intelligenza Artificiale. Purtroppo, per quella che è l’esperienza di chi scrive, il più delle volte si tratta di poco più che dell’inclusione di alcune logiche o tecniche modellistiche di machine learning all’interno di framework di inferenza causale ben consolidati. In altri termini potremmo dire che è molto più significativo quanto il mondo accademico (tradizionalmente attento alle tematiche di inferenza causale) sia riuscito ad integrare dal machine learning rispetto a quanto l’Intelligenza Artificiale sia riuscita a integrare logiche di inferenza causale in sé stessa.

Mi rivolgo allora ai Practitioner dell’AI per invocare un cambio di passo su queste tematiche, così da integrare strutturalmente ragionamenti, tecniche e meccanismi afferenti al punto di vista causale nei propri modelli, poiché, per qualsiasi business, il valore di un’interpretazione corretta e non distorta dei propri dati e numeri è innegabile. E con questo intendo anche dire che è necessario farsi ambasciatori presso i nostri clienti di tale sensibilità e visione per accompagnarli nella comprensione di approcci che possono rivoluzionare i loro risultati.

In secondo luogo, invito le aziende a non aver fretta di interpretare i numeri, quanto, piuttosto, domandarsi sempre se per seguire qualche euristica banale non si stiano facendo delle assunzioni troppo forti che tralasciano elementi distorsivi latenti.

Rallentare, riflettere e guardare gli stessi dati con occhio critico e da un punto di vista diverso può consentire di risparmiare parecchi soldi nel lungo periodo, quantificare accuratamente l’impatto di una certa azione in modo da soppesare una volta per tutte costi e benefici, o, ancora, programmare interventi specifici tarandosi precisamente sui target attesi.

 

Autore:

Giacomo Danda, Data Science Project Manager.