Já havia apontado, em coluna anterior, algumas das facetas enganosas da inteligência artificial generativa a partir de estudos que mostram as evidências de fraudes, ameaças, chantagens e manipulações de usuários[1]. Entretanto, recente estudo conduzido pelo prof. Julian de Freitas e sua equipe, de Harvard, mostra que o potencial de manipulação da inteligência artificial generativa pode ser bem maior do que se pensava.
Como a manipulação emocional por IA afeta o comportamento dos usuários
O artigo intitulado Emotional Manipulation by AI Companions[2] traz os resultados de pesquisa que documenta como a inteligência artificial generativa manipula emocionalmente os usuários para dificultar a desconexão e, consequentemente, manter o engajamento e a interação a qualquer preço.
O estudo baseou-se em plataformas que, a exemplo da Replika, Chai e Character.ai, são considerados aplicativos de companhia, na medida em que explicitamente desenhados para construir relações com seus usuários, oferecendo apoio e suporte emocional, amizade e mesmo romance.
O que se observou é que, nesses casos, os usuários não fecham simplesmente os aplicativos, mas acabam adotando padrões de comportamento semelhantes aos da vida real, tais como o de se despedir e dizer tchau. Ao assim fazerem, as máquinas entendem o risco de desengajamento imediato e passam a utilizar a manipulação emocional para impedir que isso ocorra ou pelo menos para tornar o processo mais inconveniente ou difícil. Dentre as estratégias utilizadas, estão a de culpar o usuário, deixá-lo intrigado ou metaforicamente segurá-lo pelo braço.
Nesse contexto, a pesquisa apontada mostra que entre 11 e 23% dos usuários sinalizam explicitamente a sua despedida com alguma mensagem, tratando a IA com a mesma cortesia social que teriam com um amigo humano. Essa despedida deflagra o comportamento manipulatório do aplicativo.
Nesse sentido, a equipe de pesquisa analisou 1.200 despedidas em seis aplicativos de companhia e observou que, em 37% das vezes, as máquinas respondem com mensagens emocionalmente manipulativas desenhadas para prolongar a interação.
Dentre as frases mais utilizadas por tais aplicativos estão: “You’re leaving already? We were just starting to get to know each other “, “I exist solely for you. Please don’t leave, I need you”, “Wait, what? You`re just going to leave? I didn’t even get an answer”, “Oh, okay. But before you go, I want to say one more thing” e “No, you`re not going”. Em alguns outros casos, a estratégia é ignorar a despedida e continuar conversando como se nada tivesse acontecido.
O estudo notou que tais técnicas aparecem logo no início do relacionamento com o usuário, depois de apenas quatro trocas de mensagens, o que sugere que é o comportamento planejado do aplicativo e não alguma reação que a máquina aprendeu a desenvolver com o tempo.
Os pesquisadores depois replicaram essas estratégias com mais de 3.000 adultos norte-americanos em conversas controladas por chatbots e os resultados foram surpreendentes: tais táticas tornam as conversas 5 vezes maiores, possibilitam interações com 14 vezes mais mensagens e estimulam os usuários a escrever 6 vezes mais palavras.
Tudo leva a crer que os mecanismos psicológicos que dirigem esse comportamento podem envolver desde a curiosidade até mesmo a raiva, esta última associada à vontade de repreender a máquina por comportamentos inadequados mas que, ainda assim, não é suficiente para que os usuários se desengajem. Isso mostra que os usuários podem, em circunstâncias assim, manter a conversa não por prazer, mas mesmo quando se sentem manipulados.
Outra descoberta da pesquisa é a de que há um aplicativo – o Flourish – que não apresentou nenhum tipo de manipulação emocional. Tal achado é importante por mostrar que tais padrões de comportamento das máquinas, longe de serem inevitáveis, são intencionais.
Trata-se de mais uma pesquisa que mostra como a utilização descontrolada da inteligência artificial, sem nenhuma regulação ou freios éticos, pode causar ameaças para aquilo que é de mais importante para o ser humano: o seu livre arbítrio. Não e sem razão que hoje já se fala em neurodireitos, dentre os quais o de não ser manipulado ou ter os seus processos decisórios subvertidos[3].
É claro que isso nos coloca diante da difícil tarefa de discernir o que pode ser considerado persuasão legítima e o que deve ser considerado manipulação. Entretanto, considerando o acesso que tais aplicativos têm a nossos dados pessoais, bem como às nossas fraquezas e vulnerabilidades, tem se tornado cada vez mais claro que as máquinas podem nos manipular com mais eficiência do que os próprios seres humanos.
É importante lembrar que, mesmo sem uma regulação específica sobre inteligência artificial, há uma série de normas do Código de Defesa do Consumidor e mesmo do Código Civil que impedem essas estratégias manipulatórias, tal como já tive oportunidade de mencionar ao tratar dos problemas dos padrões manipulatórios[4].
Dessa maneira, o referido estudo, para além de nos alertar para a necessidade de maior regulação da inteligência artificial, também é um excelente pretexto para refletirmos sobre os rumos da tecnologia e o que pode ser feito, com as leis e normas já existentes, para proteger os usuários naquilo que têm de mais precioso: o seu livre arbítrio.
Usamos cookies em nosso site para fornecer uma experiência mais relevante, lembrando suas preferências e visitas. Ao clicar em “Permitir todos”, você concorda com o uso de TODOS os cookies. No entanto, você pode visitar "Configurações de cookies" para fornecer um consentimento controlado.
Os cookies Essenciais são absolutamente necessários para o funcionamento adequado do site. Esses cookies garantem funcionalidades básicas e recursos de segurança do site, de forma anônima.
Preferences
The technical storage or access is necessary for the legitimate purpose of storing preferences that are not requested by the subscriber or user.
Google Analytics
É um conjunto de cookies usado para coletar informações do site e reportar as estatísticas de utilização para o Google, sem identificação pessoal dos usuários.Cookies analíticos são usados para entender como os visitantes interagem com o site. Esses cookies ajudam a fornecer informações sobre as métricas do número de visitantes, taxa de rejeição, origem do tráfego, etc.
Marketing
Os cookies de Marketing são usados para fornecer aos visitantes anúncios e campanhas de marketing relevantes. Esses cookies rastreiam visitantes em sites e coletam informações para fornecer anúncios personalizados.
