Potrebbe sembrare fantascienza, ma avere un’intelligenza artificiale avanzata come GPT nel proprio iPhone potrebbe diventare presto realtà. I ricercatori di Apple nel campo dell’AI hanno annunciato di aver compiuto un passo avanti significativo per implementare modelli linguistici avanzati (LLMs) su iPhone e altri dispositivi Apple con memoria limitata, grazie a una nuova tecnica di utilizzo della memoria flash.
LLM e Vincoli di Memoria
I chatbot basati su LLM come ChatGPT e Claude necessitano di enormi quantità di dati e memoria per funzionare, il che rappresenta una sfida per dispositivi con capacità di memoria limitate come gli iPhone. Per risolvere questo problema, i ricercatori di Apple hanno sviluppato un metodo innovativo che sfrutta la memoria flash – la stessa memoria in cui sono conservate app e foto – per immagazzinare i dati del modello AI.
Archiviazione AI su Memoria Flash
In un nuovo articolo di ricerca intitolato “LLM in a flash: Efficient Large Language Model Inference with Limited Memory,” gli autori sottolineano che la memoria flash è più abbondante nei dispositivi mobili rispetto alla RAM, tradizionalmente usata per eseguire gli LLM. Il loro metodo supera abilmente il limite utilizzando due tecniche chiave che minimizzano il trasferimento dei dati e massimizzano il throughput della memoria flash:
- Windowing: Questo metodo, simile al riciclo, evita di caricare nuovi dati ogni volta, permettendo al modello AI di riutilizzare parte dei dati già processati. Questo riduce il bisogno di costanti richieste di memoria, rendendo il processo più rapido e fluido.
- Raggruppamento Riga-Colonna: Questa tecnica, paragonabile al leggere un libro a blocchi invece che parola per parola, permette di raggruppare i dati in modo più efficiente così da poterli leggere più velocemente dalla memoria flash, accelerando la capacità dell’AI di comprendere e generare linguaggio.
La combinazione di questi metodi permette ai modelli AI di funzionare con una capacità fino a due volte superiore alla memoria disponibile su iPhone, traducendosi in un incremento di velocità 4-5 volte su processori standard (CPU) e un impressionante 20-25 volte più veloce su processori grafici (GPU).
“Questa scoperta è particolarmente cruciale per il dispiegamento di LLM avanzati in ambienti con risorse limitate, ampliandone l’applicabilità e l’accessibilità,” scrivono gli autori.
AI più veloce su iPhone
Questa svolta nell’efficienza dell’AI apre nuove possibilità per i futuri iPhone, come capacità più avanzate per Siri, traduzione linguistica in tempo reale e sofisticate funzionalità AI in fotografia e realtà aumentata. La tecnologia prepara anche il terreno affinché gli iPhone possano eseguire assistenti AI complessi e chatbot direttamente sul dispositivo, qualcosa su cui Apple si dice sia già al lavoro.
Il lavoro di Apple sull’AI generativa potrebbe alla fine essere incorporato nel suo assistente vocale. La società ha tenuto un summit sull’AI a febbraio 2023 e ha informato i dipendenti sul suo lavoro sui grandi modelli linguistici. Secondo Bloomberg, Apple mira a una versione di Siri più intelligente e profondamente integrata con l’AI. Il colosso di Cupertino prevede di aggiornare il modo in cui Siri interagisce con l’app Messaggi, permettendo agli utenti di gestire domande complesse e completare automaticamente le frasi più efficacemente. Oltre a questo, si vocifera che Apple stia pianificando di aggiungere l’AI a quante più app di default possibile.
Apple GPT
Si vocifera che la società stia sviluppando il proprio modello di AI generativa chiamato “Ajax”. Progettato per competere con modelli come GPT-3 e GPT-4 di OpenAI, Ajax opera su 200 miliardi di parametri, suggerendo un alto livello di complessità e capacità nella comprensione e generazione del linguaggio. Conosciuto internamente come “Apple GPT,” Ajax mira a unificare lo sviluppo del machine learning in Apple, suggerendo una strategia più ampia per integrare più profondamente l’AI nell’ecosistema di Apple.
Secondo gli ultimi rapporti, Ajax è considerato più capace della generazione precedente di ChatGPT 3.5. Tuttavia, si suggerisce anche che i modelli più recenti di OpenAI potrebbero aver superato le capacità di Ajax a settembre 2023.
Sia The Information che l’analista Jeff Pu affermano che Apple avrà qualche tipo di funzionalità di AI generativa disponibile su iPhone e iPad verso la fine del 2024, periodo in cui dovrebbe uscire iOS 18. Pu ha affermato in ottobre che la società ha costruito alcuni server AI nel 2023, con altri in arrivo nel 2024. Si dice che Apple offrirà una combinazione di AI basata sul cloud e AI con elaborazione sul dispositivo.
Leggi o Aggiungi Commenti