Το πρόβλημα της μεροληψίας στην αναγνώριση προσώπου

Ερευνητές έχουν διαπιστώσει ότι κορυφαίοι αλγόριθμοι αναγνώρισης προσώπου έχουν διαφορετικά ποσοστά ακρίβειας για διαφορετικές δημογραφικές κατηγορίες. Η πρώτη μελέτη που κατέγραψε αυτό το αποτέλεσμα ήταν μια έκθεση του 2003 από το Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας των ΗΠΑ (National Institute of Standards and Technology, NIST), το οποίο διαπίστωσε ότι οι αλγόριθμοι δυσκολεύονταν περισσότερο στην αναγνώριση γυναικών από όσο ανδρών, όπως και στην αναγνώριση νεαρών ατόμων σε σχέση με αυτά μεγαλύτερης ηλικίας. Το 2018, ερευνητές από το MIT και τη Microsoft προκάλεσαν αίσθηση με μια έκθεση που δείχνει ότι οι αλγόριθμοι ταξινόμησης φύλου –οι οποίοι σχετίζονται, αν και δεν ταυτίζονται με τους αλγόριθμους αναγνώρισης προσώπου– είχαν ποσοστό σφάλματος μόλις 1% για τους λευκούς άνδρες αλλά σχεδόν 35% για σκουρόχρωμες γυναίκες. Η πιο ενδελεχής μελέτη πάνω σε αυτήν την ανισότητα ολοκληρώθηκε από το NIST το 2019. Μέσα από τις δοκιμές τους, οι ερευνητές του NIST επιβεβαίωσαν ότι η πλειονότητα των αλγορίθμων εμφανίζει δημογραφικές διαφορές στα ποσοστά τόσο των ψευδώς αρνητικών (απόρριψη σωστής αντιστοίχισης) όσο των ψευδώς θετικών (αντιστοίχιση με λάθος άτομο) αποτελεσμάτων.

Το NIST βρήκε ότι δημογραφικοί παράγοντες είχαν πολύ μεγαλύτερο αντίκτυπο στα ποσοστά των ψευδώς θετικών αποτελεσμάτων –όπου οι διαφορές στο ποσοστό σφάλματος μπορούσαν να είναι από δεκαπλάσιες ως και εκατονταπλάσιες ανάμεσα στις διάφορες δημογραφικές κατηγορίες. Ως προς τα ψευδώς αρνητικά, σε γενικές γραμμές, σημειώνονταν διαφορές στο ποσοστό σφάλματος περίπου κατά συντελεστή τρία. Οι διαφορές στα ποσοστά των ψευδώς θετικών αποτελεσμάτων προκαλούν κατά κανόνα μεγαλύτερη ανησυχία, καθώς η εσφαλμένη ταυτοποίηση κάποιου ατόμου συνήθως ενέχει μεγαλύτερους κινδύνους από το να απορρίπτεται εσφαλμένα κάποιος από ένα σύστημα αναγνώρισης προσώπου (για παράδειγμα, όταν το iPhone σας δεν σας συνδέει με την πρώτη προσπάθεια). Το NIST διαπίστωσε ότι Ασιάτες, Αφροαμερικανοί και Αμερικανοί Ινδιάνοι είχαν γενικά υψηλότερα ποσοστά σφάλματος ψευδώς θετικών αποτελεσμάτων από τα λευκά άτομα, οι γυναίκες είχαν υψηλότερα ποσοστά ψευδώς θετικών αποτελεσμάτων από τους άνδρες, και τα παιδιά και οι ηλικιωμένοι είχαν υψηλότερα ποσοστά ψευδώς θετικών αποτελεσμάτων από τους ενήλικες μέσης ηλικίας.

Ωστόσο, το NIST, επίσης, κατέληξε σε πολλά ενθαρρυντικά συμπεράσματα. Το πρώτο είναι ότι οι διαφορές ανάμεσα στις δημογραφικές κατηγορίες ήταν πολύ χαμηλότερες σε αλγόριθμους που ήταν πιο ακριβείς συνολικά. Αυτό σημαίνει ότι, καθώς τα συστήματα αναγνώρισης προσώπου συνεχίζουν να βελτιώνονται, ο αντίκτυπος της μεροληψίας θα μειωθεί. Ακόμα πιο ευοίωνο ήταν το γεγονός ότι ορισμένοι αλγόριθμοι δεν έδειξαν απολύτως καμία διακριτή μεροληψία, υποδηλώνοντας ότι η μεροληψία μπορεί να εξαλειφθεί εξ ολοκλήρου με τους σωστούς αλγόριθμους και διαδικασίες ανάπτυξης. Ο πιο σημαντικός παράγοντας για τη μείωση της μεροληψίας φαίνεται να είναι η επιλογή των «δεομένων εκπαίδευσης» («training data»), των δεδομένων με τα οποία οι αλγόριθμοι εκπαιδεύονται για τη δημιουργία μοντέλων. Εάν οι αλγόριθμοι εκπαιδεύονται σε σύνολα δεδομένων που περιέχουν πολύ λίγα παραδείγματα μιας συγκεκριμένης δημογραφικής κατηγορίας, το μοντέλο που θα προκύψει θα είναι χειρότερο στην ακριβή αναγνώριση μελών αυτή της κατηγορίας σε πραγματικές εφαρμογές. Οι ερευνητές του NIST ανέπτυξαν τη θεωρία ότι αυτός ενδέχεται να είναι ο λόγος για τον οποίο πολλοί από τους αλγόριθμους που αναπτύχθηκαν στις Ηνωμένες Πολιτείες είχαν χειρότερη απόδοση σε πρόσωπα Ασιατών από αλγόριθμους που αναπτύχθηκαν στην Κίνα. Οι κινεζικές ομάδες πιθανώς χρησιμοποίησαν, για την εκπαίδευση των αλγορίθμων, σύνολα δεδομένων με μεγαλύτερη αντιπροσώπευση Ασιατών, βελτιώνοντας την απόδοσή τους σε αυτήν την κατηγορία.

Λόγω της σημασίας της επιλογής των «training data» για την απόδοση και μεροληψία των αλγορίθμων αναγνώρισης προσώπου, αυτά τα σύνολα δεδομένων γίνονται ολοένα και πιο δημοφιλής στόχος, στο πλαίσιο κανονιστικών προτάσεων. Η Ευρωπαϊκή Ένωση, για παράδειγμα, εισηγήθηκε πρόσφατα ότι ένα κανονιστικό πλαίσιο για συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου, όπως η αναγνώριση προσώπου, περιλαμβάνει την προϋπόθεση πως τα «δεδομένα εκπαίδευσης» οφείλουν να «έχουν επαρκή ευρύτητα» και «να διασφαλίζεται ότι όλες οι σχετικές διαστάσεις του φύλου, της εθνότητας και άλλοι πιθανοί λόγοι απαγορευμένων διακρίσεων αντικατοπτρίζονται δεόντως στα εν λόγω σύνολα δεδομένων». Οι έλεγχοι για την επιβεβαίωση της ποιότητας των «training data» θα μπορούσαν να αποτελέσουν σημαντικό εργαλείο για την αντιμετώπιση των κινδύνων της μεροληψίας στην αναγνώριση προσώπου. Ωστόσο, ένα διευρυμένο καθεστώς ελέγχου θα μπορούσε να βρει αντίσταση από προγραμματιστές που ενδέχεται να αντιταχθούν στην αύξηση του χρόνου ή του κόστους της διαδικασίας ανάπτυξης ή στο να διαθέσουν οποιοδήποτε τμήμα του αλγορίθμου τους σε έρευνα τρίτων.

Η κυβερνητική δράση θα είναι απαραίτητη για να ενθαρρυνθεί η υιοθέτηση πρακτικών ελέγχου των δεδομένων με τα οποία εκπαιδεύονται οι αλγόριθμοι. Το ευκολότερο πρώτο βήμα θα ήταν η ενημέρωση των πολιτικών προμηθειών σε πολιτειακό, τοπικό και ομοσπονδιακό επίπεδο, ώστε να απαγορευτούν οι κυβερνητικές αγορές από προμηθευτές λογισμικού αναγνώρισης προσώπου που δεν έχουν περάσει έναν αλγοριθμικό έλεγχο ο οποίος να ενσωματώνει την αξιολόγηση των «training data» ως προς τη μεροληψία. Αυτοί οι έλεγχοι θα μπορούσαν να διενεργηθούν από μια ρυθμιστική αρχή ή από ανεξάρτητους αξιολογητές διαπιστευμένους από την εκάστοτε κυβέρνηση. Τουλάχιστον, αυτό θα έπρεπε να απαιτείται από τον νόμο ή τις πολιτικές για χρήσεις υψηλού κινδύνου, όπως η χρήση από υπηρεσίες επιβολής του νόμου. Οι ομοσπονδιακοί, υπεύθυνοι για τη χάραξης πολιτικής, φορείς, επίσης, θα μπορούσαν να βοηθήσουν στη μείωση των κινδύνων μεροληψίας, εξουσιοδοτώντας το NIST με την επίβλεψη της δημιουργίας δημόσιων, δημογραφικά αντιπροσωπευτικών συνόλων δεδομένων, που οποιαδήποτε εταιρεία λογισμικού αναγνώρισης προσώπου θα μπορούσε να χρησιμοποιήσει για εκπαίδευση αλγορίθμων.

Ωστόσο, η μεροληψία μπορεί να εκδηλωθεί όχι μόνο ως προς τους αλγόριθμους που χρησιμοποιούνται, αλλά και ως προς τους καταλόγους επιτήρησης με τους οποίους αντιστοιχίζονται αυτά τα συστήματα. Ακόμη και αν ένας αλγόριθμος δεν εμφανίζει καμία διαφορά στην ακρίβεια ανάμεσα σε δημογραφικές ομάδες, και πάλι η χρήση του θα μπορούσε να έχει κάποια ανισότητα ως αντίκτυπο, εάν ορισμένες ομάδες υπερεκπροσωπούνται στις βάσεις δεδομένων. Οι Αφροαμερικανοί άνδρες, για παράδειγμα, αντιπροσωπεύονται δυσανάλογα στις φωτογραφικές βάσεις δεδομένων που χρησιμοποιούν πολλά συστήματα αναγνώρισης προσώπου των αρχών επιβολής του νόμου για την αντιστοίχιση ατόμων. Αυτό είναι αποτέλεσμα ευρύτερων κοινωνικών τάσεων, αλλά εάν η αναγνώριση προσώπου γίνει κοινό εργαλείο αστυνόμευσης, αυτό θα μπορούσε να σημαίνει ότι οι Αφροαμερικανοί άνδρες θα αναγνωρίζονται και θα παρακολουθούνται συχνότερα, καθώς πολλοί έχουν ήδη καταγραφεί σε βάσεις δεδομένων των αρχών επιβολής του νόμου. Σε αντίθεση με το ζήτημα της διαφοροποιημένης ακρίβειας, αυτό δεν είναι ένα πρόβλημα που μπορεί να λυθεί με τη βελτίωση της τεχνολογίας.

Με αυτό τονίζεται πόσο σημαντικό είναι να μετατοπιστεί η συζήτηση γύρω από τους κινδύνους της αναγνώρισης προσώπου. Όλο και περισσότερο, οι πρωταρχικοί κίνδυνοι δεν θα προέρχονται από περιπτώσεις όπου η τεχνολογία αποτυγχάνει, αλλά μάλλον από περιπτώσεις όπου η τεχνολογία λειτουργεί ακριβώς όπως πρέπει. Οι συνεχείς βελτιώσεις στα δεδομένα τεχνολογίας και εκπαίδευσης θα εξαλείψουν σιγά σιγά τις υπάρχουσες μεροληψίες των αλγορίθμων, μειώνοντας πολλούς από τους τρέχοντες κινδύνους της τεχνολογίας και διευρύνοντας τα οφέλη που μπορούν να αποκτηθούν από την υπεύθυνη χρήση. Από την άλλη, αυτό, επίσης, θα καταστήσει τις εφαρμογές πιο ελκυστικές για τους χειριστές τους, δημιουργώντας νέους προβληματισμούς. Καθώς οι υπεύθυνοι φορείς για τη χάραξη πολιτικής μελετούν τον καλύτερο τρόπο για την κατασκευή συστημάτων διακυβέρνησης που θα διαχειρίζονται την αναγνώριση προσώπου, θα πρέπει να διασφαλίσουν ότι οι λύσεις τους είναι προσαρμοσμένες στον κατεύθυνση που παίρνει η τεχνολογία, και όχι στο σημείο όπου βρίσκεται σήμερα. Η μεροληψία στους αλγόριθμους αναγνώρισης προσώπου είναι ένα πρόβλημα με περισσότερες από μία διαστάσεις. Οι τεχνικές βελτιώσεις ήδη προσπαθούν να συμβάλλουν στη λύση, αλλά πολλά θα συνεχίσουν να εξαρτώνται από τις αποφάσεις που λαμβάνουμε σχετικά με τον τρόπο χρήσης και διακυβέρνησης της τεχνολογίας.