iOS 14 ci permetterà di interagire con iPhone senza toccare il display

Con iOS 14 e macOS Big Sur, gli sviluppatori saranno in grado di aggiungere la capacità di rilevare il corpo umano e le pose delle mani in foto e video nelle loro app utilizzando il framework Vision aggiornato di Apple.

Questa funzionalità consentirà alle app di analizzare le pose, i movimenti e i gesti delle persone, consentendo un’ampia varietà di potenziali funzionalità. Apple fornisce alcuni esempi, tra cui un’app per il fitness in grado di tracciare automaticamente l’attività fisica eseguita da un utente, un’app per l’addestramento sulla sicurezza che potrebbe aiutare i dipendenti a utilizzare pose corrette e un’app per l’editing dei media in grado di trovare foto o video basati su pose simili

Il rilevamento della posa delle mani in particolare promette di offrire una nuova forma di interazione con le app. Nella dimostrazione di Apple, ha mostrato una persona che tiene insieme il pollice e l’indice e disegna in un’app per iPhone senza toccare il display.

Inoltre, le app potrebbero utilizzare il framework per sovrapporre emoji o grafica sulle mani di un utente che rispecchiano  un gesto specifico, come un segno di pace.

Un altro esempio è un’app della fotocamera che attiva automaticamente l’acquisizione di foto quando rileva l’utente che esegue un gesto specifico con la mano-

Il framework è in grado di rilevare più mani o corpi in una scena, ma gli algoritmi potrebbero non funzionare altrettanto bene con le persone che indossano guanti, si chinano, sono capovolte o indossano abiti simili a vesti. L’algoritmo può anche incontrare difficoltà se una persona è vicina al bordo dello schermo o parzialmente ostruita.

Funzionalità simili sono già disponibili tramite ARKit, ma sono limitate alle sessioni di realtà aumentata e funzionano solo con la fotocamera posteriore sui modelli compatibili di iPhone e iPad. Con il framework Vision aggiornato, gli sviluppatori hanno molte più possibilità.