In virtù della loro natura probabilistica, i sistemi di apprendimento automatico sono fragili: tracciando correlazioni statistiche di ogni genere – senza una com- prensione del loro significato o contesto – sono, per gli esseri umani che li utiliz- zano, sensibili a elementi irrilevanti e soggetti a esiti imprevedibili e assurdi, oltre che vulnerabili a attacchi avversari non rilevabili. Non si tratta, in senso stretto, di errori. Un sistema di apprendimento automatico per la “visione” fa la stessa cosa (costruisce modelli tracciando correlazioni tra gruppi di pixel) sia quando classifi- ca correttamente l’immagine di un aereo, sia quando, in virtù dell’alterazione di un singolo pixel, classifica la medesima immagine dell’aereo come “gatto”: in entram- bi i casi, fa qualcosa di completamente diverso da ciò che facciamo noi quando riconosciamo un aereo in una foto.

— Dieci miti sull'intelligenza artificiale. di Daniela Tafani (Pagina 21)