Apple ha rilasciato diversi modelli LLM (Large Language Models) open source progettati per funzionare su dispositivi anziché attraverso server cloud. Chiamati OpenELM (Open-source Efficient Language Models), i LLM sono disponibili su Hugging Face Hub, una community per la condivisione di codice AI.
Come descritto in un white paper [PDF], ci sono in totale otto modelli OpenELM, quattro dei quali sono stati pre-addestrati utilizzando la libreria CoreNet e quattro modelli ottimizzati per l’istruzione. Apple utilizza una strategia di ridimensionamento layer-wise mirata a migliorare l’accuratezza e l’efficienza.
Apple ha fornito codice, registri di addestramento e diverse versioni anziché solo il modello addestrato finale, e i ricercatori dietro al progetto sperano che ciò porti a progressi più rapidi e a risultati “più affidabili” nel campo dell’IA del linguaggio naturale.
OpenELM, un modello di linguaggio aperto all’avanguardia. OpenELM utilizza una strategia di ridimensionamento layer-wise per allocare efficientemente i parametri all’interno di ciascuno strato del modello transformer, portando a un’accuratezza migliorata. Ad esempio, con un budget di parametri di circa un miliardo, OpenELM mostra un miglioramento del 2,36% nell’accuratezza rispetto a OLMo, richiedendo la metà dei token di pre-istrainamento.
Divergendo dalle pratiche precedenti che forniscono solo pesi del modello e codice di inferenza e si pre-addestramento su dataset privati, il nostro rilascio include il framework completo per l’addestramento e la valutazione del modello di linguaggio su dataset pubblicamente disponibili, inclusi registri di addestramento, checkpoint multipli e configurazioni di pre-addestramento.
Apple afferma di rilasciare i modelli OpenELM per “potenziare e arricchire la community di ricerca aperta” con modelli di linguaggio all’avanguardia. La condivisione di modelli open source offre ai ricercatori un modo per indagare sui rischi e sui bias dei dati e del modello. Sviluppatori e aziende possono utilizzare i modelli così come sono o apportare modifiche.
La condivisione aperta delle informazioni è diventata uno strumento importante per Apple per reclutare i migliori ingegneri, scienziati ed esperti perché offre opportunità di pubblicare documenti di ricerca che normalmente non sarebbero stati in grado di essere pubblicati secondo le politiche segrete di Apple.
La società di Cupertino non ha ancora portato queste capacità di IA ai suoi dispositivi, ma si prevede che iOS 18 includerà numerose nuove funzionalità di intelligenza artificiale, e i rumors suggeriscono che Apple stia pianificando di eseguire i suoi grandi modelli di linguaggio sui dispositivi per motivi di privacy.
Leggi o Aggiungi Commenti