Negli ultimi anni abbiamo visto crescere l’interesse verso i cosiddetti foundation model applicati alla salute, soprattutto quando si parla di wearable come Apple Watch.
La quantità di dati raccolti quotidianamente è enorme, e il vero nodo diventa capire come sfruttare anche informazioni incomplete, rumorose o irregolari. È il punto di partenza dello studio condotto da MIT ed Empirical Health, che ha utilizzato tre milioni di “giorni-persona” provenienti da Apple Watch per addestrare un modello capace di anticipare diverse condizioni cliniche.
La ricerca si inserisce in un filone che guarda alle architetture self-supervised e, più nello specifico, ai concetti introdotti da Yann LeCun con la Joint-Embedding Predictive Architecture.
JEPA nasce con l’obiettivo di far apprendere a un modello non la ricostruzione precisa di un dato mancante, ma il significato che quel dato avrebbe all’interno del contesto. È una filosofia che prova a superare il classico approccio token-based dei modelli linguistici e che apre la porta ai cosiddetti world models, una direzione che lo stesso LeCun considera la via più credibile verso l’AGI.
Lo studio parte da qui e costruisce JETS, un foundation model pensato per serie temporali multivariate irregolari. Indossiamo Apple Watch in modi diversi, a volte lo lasciamo sul comodino, a volte registriamo solo parte delle nostre attività, e questo genera buchi di dati considerevoli. JETS affronta il problema traducendo ogni osservazione in una sorta di token composto da giorno, valore e tipologia di metrica. Da qui il modello maschera parti della sequenza, crea rappresentazioni condivise e tenta di prevedere l’embedding delle porzioni mancanti.
Nel dataset analizzato ritroviamo 16.522 partecipanti e 63 metriche diverse, distribuite tra frequenza cardiaca, respirazione, sonno, attività fisica e parametri generali. Solo il quindici per cento dei volontari possedeva diagnosi mediche note, quindi la maggior parte dei dati sarebbe stata inutilizzabile in un classico approccio supervisionato. La scelta self-supervised permette invece al modello di imparare prima dai pattern generali e poi di specializzarsi tramite fine-tuning.
Una volta completato l’addestramento, il team ha confrontato JETS con diversi baseline, inclusa una versione precedente basata su architettura Transformer. Le metriche utilizzate sono AUROC e AUPRC, due indicatori che misurano la capacità del modello di ordinare correttamente i casi più probabili, più che valutarne la precisione puntuale.
I punteggi ottenuti per le varie condizioni mediche mostrano valori elevati per alcune patologie come ipertensione, sindrome del nodo del seno e stanchezza cronica. Non si tratta sempre del miglior risultato possibile, ma il vantaggio complessivo rispetto ai modelli tradizionali è evidente, soprattutto se consideriamo che alcune metriche venivano registrate meno dell’uno per cento delle volte e altre sfioravano invece quasi il cento per cento.
Possiamo dire che questa ricerca rafforza l’idea che i wearable possiedono un potenziale sanitario ancora largamente inesplorato. Non serve per forza un dataset perfetto per ricavare insight utili, perché modelli come JETS sembrano in grado di estrarre struttura e significato anche da dati estremamente irregolari. Per questa ragione ci sembra un passo importante verso sistemi che potrebbero un giorno aiutare a identificare precocemente condizioni critiche, sfruttando ciò che indossiamo ogni giorno senza cambiamenti radicali nelle nostre abitudini.
Chi vuole approfondire può trovare lo studio completo all’interno del paper JETS.
Sii il primo a commentare
Accedi per lasciare un commento:
0 Commenti