Juan Bernabeu/The New York Times
Juan Bernabeu/The New York Times

Sua próxima prova vai ser corrigida pela inteligência artificial?

Redes neurais artificiais podem dar uma forcinha à educação on-line oferecendo feedback automatizado aos alunos

Cade Metz, The New York Times - Life/Style, O Estado de S.Paulo

17 de agosto de 2021 | 05h00

No primeiro semestre deste ano, Philips Pham estava entre as mais de 12 mil pessoas de 148 países que participaram de um curso on-line chamado “Code in Place”. Administrado pela Universidade Stanford, o curso ensinava o básico de programação de computadores.

Quatro semanas depois, Pham, estudante de 23 anos que vive no extremo sul da Suécia, realizou sua primeira prova. Ele tentou escrever um programa que pudesse desenhar ondas de pequenos diamantes azuis em uma rede em preto e branco. Vários dias depois, recebeu uma avaliação detalhada de seu código.

A avaliação elogiava seu trabalho, mas também identificava um erro. “Parece que você cometeu um pequeno erro”, observava a crítica. "Talvez haja algo impedindo seu progresso depois de desenhar a terceira onda".

O feedback era exatamente o que Pham precisava. E veio de uma máquina.

Durante este curso on-line, um novo tipo de inteligência artificial ofereceu feedback a Pham e a milhares de outros alunos que realizaram a mesma prova. Construído por uma equipe de pesquisadores de Stanford, este sistema automatizado aponta para um novo futuro para a educação on-line, que pode facilmente estar ao alcance de milhares de pessoas, mas nem sempre oferece a orientação que muitos alunos precisam e desejam.

“Implementamos isso no mundo real e funciona melhor do que esperávamos”, disse Chelsea Finn, professora de Stanford e pesquisadora de inteligência artificial que ajudou a construir o novo sistema.

Chelsea e sua equipe projetaram este sistema exclusivamente para o curso de programação de Stanford. Mas eles usaram técnicas que poderiam automatizar o feedback para os alunos em outras situações, inclusive para cursos que não são de programação.

Oren Etzioni, CEO do Instituto Allen de Inteligência Artificial e ex-professor de ciência da computação na Universidade de Washington, advertiu que essas técnicas estão muito longe de realizar o trabalho dos instrutores humanos. Feedback e conselhos de professores, monitores e tutores são sempre preferíveis a uma avaliação automatizada.

Ainda assim, Etzioni chamou o projeto de Stanford de um “passo em uma direção importante”, com feedback automatizado sendo melhor do que não receber nenhum.

O curso on-line do qual participaram Pham e milhares de outras pessoas é baseado em outro que Stanford oferece há mais de uma década. A cada semestre, a universidade dá aos alunos uma prova de meio de semestre cheia de exercícios de programação e mantém um registro digital dos resultados, incluindo uma infinidade de códigos escritos pelos alunos, assim como críticas apontadas de cada programa por instrutores universitários.

Esta década de dados foi o que motivou o novo experimento da universidade em inteligência artificial.

Chelsea e sua equipe construíram uma rede neural artificial, um sistema matemático que pode aprender habilidades com uma grande quantidade de dados. Ao identificar padrões em milhares de fotos de gatos, uma rede neural artificial pode aprender a identificar um gato. Ao analisar centenas de ligações antigas, ela pode aprender a reconhecer palavras faladas. Ou, ao estudar a maneira como os professores avaliam as provas de codificação, ela pode aprender a avaliar essas provas por conta própria.

O sistema de Stanford passou horas analisando exemplos de antigas provas, aprendendo com uma década de possibilidades. Então, ele estava preparado para aprender mais. Ao receber apenas alguns exemplos extras da nova prova realizada, ele podia rapidamente realizar a tarefa que tinha em mãos.

“Ele percebe muitos tipos de problemas”, disse Mike Wu, outro pesquisador que trabalhou no projeto. “Então, ele pode se adaptar a problemas que nunca viu antes”.

Neste ano, o sistema foi responsável por 16 mil feedbacks de avaliações e os alunos concordaram com o feedback 97,9% das vezes, de acordo com um estudo realizado pelos pesquisadores de Stanford. Em comparação, os alunos concordaram com o feedback de instrutores humanos 96,7% das vezes.

Pham, estudante de engenharia da Universidade Lund, na Suécia, ficou surpreso ao ver que a tecnologia funcionou tão bem. Embora a ferramenta automatizada não tenha sido capaz de avaliar um de seus programas (provavelmente porque ele escreveu um trecho de código diferente de tudo que a inteligência artificial já tinha visto), ela identificou bugs específicos em seu código e deu sugestões de como corrigi-los. “Raramente você recebe um feedback tão bem elaborado”, disse Pham.

A tecnologia foi eficaz porque seu papel foi definido de forma muito precisa. Ao realizar a prova, Pham escreveu código com objetivos muito específicos, e havia apenas tantas maneiras pelas quais ele e outros alunos poderiam ter se equivocado.

Embora o sistema de Stanford ofereça um feedback preciso, ele é inútil se os alunos tiverem dúvidas em relação ao que erraram. Mas para Chris Piech, professor de Stanford que ajudou a supervisionar o curso, substituir os instrutores não é o objetivo.

O novo sistema automatizado é uma maneira de conseguir feedbacks para mais alunos do que os instrutores poderiam realizar por conta própria. E se ele puder identificar de forma clara os problemas no código do aluno, mostrando os erros de codificação específicos que eles estão cometendo e com que frequência, isso poderia ajudar os instrutores a entender melhor quais alunos precisam de ajuda e como ajudá-los. Como diz Piech, “O futuro é simbiótico - professores e inteligência artificial trabalhando juntos”. / TRADUÇÃO DE ROMINA CÁCIA

The New York Times Licensing Group - Todos os direitos reservados. É proibido todo tipo de reprodução sem autorização por escrito do The New York Times

Encontrou algum erro? Entre em contato

Comentários

Os comentários são exclusivos para assinantes do Estadão.

O Estadão deixou de dar suporte ao Internet Explorer 9 ou anterior. Clique aqui e saiba mais.