La Apple Card viene esaminata dai regolatori finanziari dopo che i clienti si sono lamentati del fatto che gli algoritmi di prestito della carta hanno discriminato le donne.
Le lamentele sono iniziate quando lo sviluppatore di software David Heinemeier Hansson si è lamentato su Twitter che la linea di credito offerta dalla sua Apple Card era 20 volte superiore a quella offerta al coniuge.
“La @AppleCard è un fottuto programma sessista”, ha scritto Hansson. “Mia moglie ed io abbiamo presentato dichiarazioni dei redditi congiunte, viviamo in uno stato di proprietà della comunità e siamo sposati da molto tempo. Tuttavia, l’algoritmo della scatola nera di Apple pensa che io meriti 20 volte in più il limite di credito.”
Hansson ha dichiarato che il servizio clienti di Apple ha risposto rapidamente alle sue lamentele e alla fine è intervenuto per aumentare il limite di credito di sua moglie come una risposta una tantum, ma gli stessi rappresentanti avrebbero riferito di non poter fare nulla per modificare la decisione generale dell’algoritmo.
Apple has handed the customer experience and their reputation as an inclusive organization over to a biased, sexist algorithm it does not understand, cannot reason with, and is unable to control. When a trillion-dollar company simply accepts the algorithmic overlord like this…
— DHH (@dhh) November 8, 2019
Dopo che i reclami di Hansson sono diventati virali, altri clienti della Apple Card hanno riportato incidenti simili. Il co-fondatore di Apple Steve Wozniak era tra questi, dicendo che gli era stato concesso un limite di credito dieci volte maggiore a sua moglie. Wozniak ha invitato il governo a indagare sul funzionamento di tali algoritmi, che secondo gli esperti sono spesso discriminatori.
“Non abbiamo trasparenza sul modo in cui queste aziende creano e gestiscono queste cose”, ha dichiarato Wozniak in un’intervista. “Ovviamente Algos ha dei difetti … Un numero enorme di persone direbbe:” Adoriamo la nostra tecnologia ma non abbiamo più il controllo. “Penso che sia così.”
The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.
— Steve Wozniak (@stevewoz) November 10, 2019
In risposta ai reclami, il Dipartimento dei servizi finanziari dello Stato di New York (DFS) ha dichiarato di voler indagare sulla carta, che viene emessa dal colosso bancario Goldman Sachs.
“Qualsiasi algoritmo che provoca intenzionalmente o meno un trattamento discriminatorio nei confronti delle donne o di qualsiasi altra classe protetta viola la legge di New York”, ha detto un portavoce dell’agenzia al New York Times. “DFS è preoccupato di conoscere il potenziale trattamento discriminatorio in merito alle decisioni sui limiti di credito prese secondo un algoritmo di Apple Card, emesso da Goldman Sachs, e il Dipartimento condurrà un’indagine per determinare se la legge di New York è stata violata e garantire a tutti i consumatori di essere trattati allo stesso modo indipendentemente dal sesso. “
In una dichiarazione, Goldman Sachs ha negato che i suoi algoritmi discriminassero in questo modo le donne.
Questi reclami alimentano la crescente consapevolezza pubblica degli algoritmi discriminatori, che stanno prendendo sempre più decisioni in settori come l’assistenza sanitaria, le assunzioni e le abitazioni. Le aziende e le agenzie governative spesso introducono tali sistemi automatizzati per ridurre i costi e gestire complessi set di dati, ma per anni gli esperti hanno avvertito che tali algoritmi sono opachi e non regolamentati, che codificano il pensiero sessista e razzista in un software irresponsabile.