Uma inteligência artificial usada para encontrar vieses na inteligência artificial

O problema do enviesamento na inteligência artificial é cada vez mais investigado pelas autoridades e representa um segmento em expansão para startups e quem aposta na tecnologia

PUBLICIDADE

Por Cade Metz
Atualização:

Em 2018, Liz O’Sullivan e os colegas dela em uma destacada startup de inteligência artificial (IA) começaram a trabalhar em um sistema que removeria automaticamente imagens de nudez explícita da internet.

Eles enviaram milhões de fotos on-line para trabalhadores na Índia, que passaram semanas adicionando etiquetas ao material explícito. Os dados e as fotos seriam usados conjuntamente para ensinar um software de IA a reconhecer imagens indecentes. Mas, depois que as fotos foram etiquetadas, Liz e sua equipe se deram conta de um problema: os trabalhadores indianos classificaram como indecentes todas as imagens de casais formados por pessoas do mesmo sexo.

Liz O'Sullivan lidera uma startup para verificar falhas em inteligências artificiais. Foto: Nathan Bajar/The New York Times

PUBLICIDADE

Para Liz, a ocasião mostrou o quão facilmente - e frequentemente - o enviesamento pode contaminar a inteligência artificial. É como um “cruel jogo de gato e rato", disse ela.

Em junho, Liz, uma nova-iorquina de 36 anos, foi nomeada diretora executiva de uma nova empresa chamada Parity. A startup é uma dentre muitas organizações (incluindo mais de uma dezena de startups e alguns dos maiores nomes do setor de tecnologia) oferecendo ferramentas e serviços destinados a identificar e remover os vieses de sistemas de inteligência artificial.

Em breve, talvez as empresas precisem dessa ajuda. Em abril, a comissão federal do comércio dos EUA alertou contra a venda de sistemas de IA que pudessem apresentar viés racial ou impedir o acesso de indivíduos a empregos, moradia, seguros e outros benefícios. Na semana seguinte, a União Europeia revelou um projeto de lei que multaria empresas que oferecessem tecnologia desse tipo.

Não se sabe ao certo como as autoridades fariam para fiscalizar o enviesamento. Em junho, o Instituto Nacional de Padrões e Tecnologia, um laboratório do governo cujo trabalho costuma informar as políticas públicas, divulgou uma proposta detalhando como as empresas podem combater os vieses na IA, incluindo mudanças na forma de conceber e desenvolver a tecnologia.

Muitos na indústria da tecnologia acreditam que as empresas devem começar a se preparar para uma onda de fiscalização. “É inevitável chegarmos a algum tipo de regulamentação ou lei", disse Christian Troncoso, diretor sênior de políticas jurídicas para o grupo Software Alliance, que representa algumas das maiores e mais antigas empresas de software. “Sempre que surge uma dessas histórias terríveis envolvendo IA, isso enfraquece a confiança do público.”

Publicidade

Nos anos mais recentes, estudos mostraram que serviços de reconhecimento facial, sistemas de saúde e até assistentes digitais de ativação verbal podem apresentar vieses desfavorecendo mulheres, pessoas não brancas e outros grupos marginalizados. Em meio a um crescente coro de queixas envolvendo o assunto, algumas autoridades locais já começaram a agir.

No fim de 2019, autoridades estaduais de Nova York abriram uma investigação do UnitedHealth Group depois que um estudo revelou que o algoritmo usado por um hospital tratava com prioridade os pacientes brancos em detrimentos dos negros, mesmo quando os brancos apresentavam casos menos graves. No ano passado, o estado investigou o serviço de crédito Apple Card após queixas de discriminação contra mulheres. As autoridades decidiram que a operadora do cartão, Goldman Sachs, não era culpada de discriminação, enquanto o resultado da investigação do UnitedHealth ainda é incerto.

Um porta-voz do UnitedHealth, Tyler Mason, disse que o algoritmo da empresa foi usado de maneira equivocada por uma de suas parceiras, e não apresentava nenhum viés racial inerente. A Apple não quis comentar o caso.

Nos seis meses mais recentes, mais de US$ 100 milhões foram investidos em empresas que exploram questões éticas da IA, além dos US$ 186 milhões investidos no ano passado, de acordo com a firma de pesquisas PitchBook, que acompanha a atividade financeira.

PUBLICIDADE

Mas os esforços para lidar com o problema chegaram a um ponto de virada recentemente quando a Software Alliance ofereceu uma estrutura detalhada para combater o enviesamento na IA, incluindo a admissão de que algumas tecnologias automatizadas exigem a supervisão periódica de humanos. O grupo acredita que o documento pode ajudar empresas a mudar seu comportamento e mostrar aos fiscais e legisladores como controlar o problema.

Embora tenham sido criticadas pelo enviesamento de seus próprios sistemas, Amazon, IBM, Google e Microsoft também oferecem ferramentas para combatê-lo.

Liz disse que não há solução simples para o enviesamento na inteligência artificial. Para ela, o maior problema é que alguns na indústria questionam se o problema é tão generalizado ou prejudicial quanto ela acredita.

Publicidade

“Não se pode mudar uma mentalidade da noite para o dia - e isso é ainda mais verdadeiro em se tratando de grandes empresas", disse ela. “Estamos tentando fazer muitas pessoas mudarem de ideia, e não apenas uma.”

Quando ela começou a orientar empresas em questões ligadas ao enviesamento da IA, há mais de dois anos, Liz era frequentemente recebida com ceticismo. Muitos executivos e engenheiros apostavam no que era chamado de “igualdade pela ignorância", defendendo que a melhor maneira de desenvolver uma tecnologia igualitária seria ignorar questões como as diferenças de raça e gênero.

Em alta
Loading...Loading...
Loading...Loading...
Loading...Loading...

Cada vez mais, as empresas estavam desenvolvendo sistemas que aprendiam tarefas analisando imensos volumes de dados, incluindo fotos, sons, textos e estatísticas. Acreditava-se que, se um sistema aprendesse a partir da maior quantidade possível de dados, a igualdade seria uma consequência natural.

Mas, como Liz percebeu após a etiquetagem feita na Índia, os vieses podem chegar a um sistema quando os engenheiros escolhem os dados errados ou erram ao classificá-los. Estudos revelam que serviços de reconhecimento facial podem ser enviesados contra mulheres e pessoas não brancas quando são treinados a partir de acervos de fotos dominados por homens brancos.

Os engenheiros podem simplesmente não enxergar esses problemas. Os trabalhadores na Índia - onde os relacionamentos gays ainda eram ilegais na época e onde a atitude em relação a gays e lésbicas era muito diferente da observada nos Estados Unidos - estavam classificando as fotos seguindo critérios que lhes pareceram normais.

Liz viu as falhas e armadilhas da IA enquanto trabalhava para a Clarifai, a empresa envolvida no projeto de etiquetagem das fotos. Ela disse que deixou a empresa depois de perceber que estavam desenvolvendo sistemas para o exército que, de acordo com a crença dela, poderiam um dia ser usados para matar. A Clarifai não respondeu aos pedidos de comentário.

Agora ela acredita que, após anos de queixas públicas quanto ao enviesamento na inteligência artificial - para não falar na ameaça de regulamentação - as atitudes estão mudando. Em seus novos parâmetros para combater vieses prejudiciais, a Software Alliance faz um alerta contra o princípio da igualdade pela ignorância, dizendo que essa lógica não se sustenta.

Publicidade

“Estão reconhecendo que é necessário abrir o capô e dar uma olhada em como esse motor está funcionando”, disse Liz. / TRADUÇÃO DE AUGUSTO CALIL

The New York Times Licensing Group - Todos os direitos reservados. É proibido todo tipo de reprodução sem autorização por escrito do The New York Times.

Comentários

Os comentários são exclusivos para assinantes do Estadão.