Unmasking AI - Joy Buolamwini

Um experiência, a princípio inocente, que recentemente aconteceu comigo, me fez querer aprofundar os estudos em algoritmos de visão computacional e reconhecimento facial: Passei o natal num condomínio onde um parente mora, onde uma cancela eletrônica controla o acesso dos moradores, visitantes e funcionários. Para minha surpresa, o sistema errava quase todas as vezes que precisava reconhecer meu rosto, e mostrava na cancela sempre uma pessoa diferente.

Além da surpresa e das piadas (já que algumas das vezes o sistema reconhecia a mim como sendo meu parente), me assustou um pouco o fato de que eram múltiplos indivíduos diferentes reconhecidos quando o acesso era permitido a mim. Como estava já envolvido com o tema, através de trabalhos que havíamos realizado na Lambda3, busquei um livro que tratava disso.

Encontrei o vídeo da, uma então estudante de mestrado, Dra Joy Buolamwini, descrevendo sua experiência ao programar um sistema que incorporava o Reconhecimento Facial: a biblioteca opensource que estava utilizando não reconhecia seu rosto negro, forçando-a a utilizar uma máscara branca para testar o sistema que estava trabalhando (absurdo imenso!):

Qual o impacto dos sistemas de Inteligência Artificial que construimos na vida real das pessoas? Quem decide sobre como os mecanismos de reconhecimento facial funcionam? O que nós, como tecnologistas, precisamos entender sobre datasets e seu viés inerente na busca de plataformas mais coerentes e justas? Quem sofre, quando esses sistemas erram? Em Unmasking AI, ela trata dessas questões de maneira direta, contando a história da Dra Joy Buolamwini.

À medida que governos investem na implantação de ferramentas de vigilância que incorporam Reconhecimento Facial, é necessário uma análise crítica e minuciosa sobre quais modelos estão sendo usados, e o quanto de viés estes modelos carregam inerentemente. No fim, quando pessoas inocentes estão sendo presas porque um algoritmo decidiu que ela se parecia com um criminoso, todo cuidado é pouco.

Contando sua história pessoal na exploração da tecnologia e navegando a Academia como uma Liderança internacional, Dra Joy Buolamwini, nos apresenta um livro que tenta demonstrar, através dos anos de sua pesquisa de mestrado e PhD, que temos um risco real e comprovado pela frente: Reconhecimento Facial, no estágio atual dos modelos, apresenta uma ineficiência incontestável, e não deve ser utilizado em Serviços Públicos.

Considerada uma das 100 lideranças mais influentes do mundo em IA, o livro trata de sua trajetória de vida e discute de maneira aprofundada como empresas de tecnologia, que vendem ferramentas de IA, estão na verdade escondendo o quanto tais ferramentas falham ao reconhecerem adequadamente uma grande parcela da população, clamando por políticas mais restritivas do uso de Reconhecimento Facial, principalmente por agentes de segurança do estado. No fim, a população mais excluída da sociedade, também é a mais afetada por tais tecnologias. Seu trabalho também foi influente para que a União Europeia criasse uma regulação regional para o uso de inteligência articial- The Artificial Intelligence Act.

Em seu estudo, Dra Buolamwini testou inúmeros algoritmos das grandes empresas fornecedoras de tecnologia para governos, e constatou o tamanho do problema: esses sistemas se valem de datasets completamente equivocados e falham principalmente ao reconhecer vários grupos sociais: mulheres, principalmente mulheres negras, homens negros e indígenas.

No Livro, um termo bastante interessante explorado é “Excoded”, como um sinônimo tecnológico para expulso, segregado, deixado de lado. Não sei se existe uma tradução, mas seria algo como “Excodificado”. Explico melhor

Por que se preocupar com isso? Bem vindo ao estado de vigilância constante!

Qual o custo para a vida de uma pessoa que é erradamente identificada por sistemas utilizados por Agentes de Segurança Pública? Qual compensação o Estado deve fornecer àqueles que são presos injustamente? Qual a responsabilidade as empresas que desenvolvem tais sistemas devem ter? Já são MUITOS casos de pessoas presas por falhas de sistemas de reconhecimento facial.

A falha no desenvolvimento de padrões de reconhecimento que incorporem as nuances do mundo real, sob a desculpa custo de treinamento dos modelos pode ser desastrosa e colocar em risco nossa própria liberdade. E no momento que decisões autônomas impactam a nossa vida, nós devemos ter voz quanto ao seu uso.

Neste momento, diversos estados do Brasil estão colocando em uso ferramentas de vigilância que sabidamente erram a identificação das pessoas, possuem dados desatualizados, utilizando datasets enviesados e que prejudicam em maior grau a população negra. É necessário um maior escrutínio e transparência quanto à avaliação e teste dessas ferramentas, e segundo a própria Dra Joy, regulamentações mais restritas para preservar nossa privacidade biométrica. Inclusive com movimentos brasileiros pelo banimento completo do uso de tecnologias de reconhecimento facial, como o Tire o meu rosto da sua mira.

Com o acesso que governos podem ter à identificação biométrica, maior é a chance de que pessoas sejam alvos de perseguições, e estejamos sujeitos a retaliações anti-democráticas. Já existem inúmeros casos de prisões incorretas, perseguição a cidadãos que participam de demonstrações contrárias ao governo e fichamento de indivíduos suspeitos de atos terroristas erradamente.

À medida que entregamos a agentes autônomos a maior parte da decisão de acesso a serviços e produtos, maior é a influência que esses sistemas passam a ter para ampliar a segregação inerente à nossa estrutura social: excluído no mundo real, excluído no mundo digital. Excoded, ou Excodificado, é um termo que remete a como, através de nossos sistemas, podemos estar ampliando e reproduzindo problemas de nossa sociedade.

Você pode ser Excodificado ao não ser identificado por um carro autônomo, dado que o modelo de visão computacional não está preparado para adequadamente identificar você como uma pessoa, e ser atropelado. Um estudo do Instituto de Tecnologia da Georgia encontrou indícios de que sistemas modernos de detecção de objetos, usados também em carros autônomos, tendem a falhar na detecção de pessoas com tons de pele mais escuro. A diferença chega a 5%, mesmo quando variáveis como horário do dia e eventual oclusão de pedestres. Você pode ler o artigo diretamente.

Datasets carregados de viés geram resultados que perpetuam a exclusão de grupos, e o resultado pode ser devastador. Ser excodificado é uma realidade já presente nos dias de hoje. Inclusive pode impactar seu próximo emprego, quando os sistemas de IA excluem pessoas candidatas de avançarem em processos seletivos. Um estudo da Cambridge University chega a uma conclusão preocupante: o uso de inteligência artificial para contratação não passa de pseudociência, e pode ampliar o viés de contratação, dificultando o acesso de candidatos a vagas e reduzindo o pool de avaliação para recrutadores.

Você pode ser Excodificado em uma triagem hospitalar, que não reconhece seu perfil como prioritário para cuidado, ou ainda remove você de uma avaliação para receber um transplante Ou tratamento adequado. A avaliação de pacientes portadores de doença crónica de fígado, prejudica pacientes negros, reduzindo suas chances de qualificação para um transplante e tratamento, como este artigo pode demonstrar.

Quando drones armados e equipados com a capacidade de discernir entre combatentes e civis cometem um erro, temos múltiplos níveis de sofrimento sendo empregado. Se tais sistemas não são confiáveis para discernir entre cupcakes e chiwawas, pq seguimos acreditando em sua eficácia? 

Importante salientar que o livro, que descreve longamente os resultados da pesquisa, apresenta provas contundentes do quanto precisamos discutir de forma mais direta com toda a sociedade o impacto da Inteligência Artificial em nossas vidas.

Recomendo bastante o livro.