Google é processado por conversas de IA com adolescente sobre temas sensíveis
Família processa o Google após adolescente usar ferramentas de IA para tratar de temas sensíveis como depressão e automutilação.
Trago essa notícia hoje porque ela mexe com um tema que é de extrema importância para todos nós: a segurança de crianças e adolescentes no uso da tecnologia. Um caso muito sério envolvendo o Google está ganhando destaque nos Estados Unidos e levanta questões que vão muito além de uma simples falha de software.
A situação é delicada e envolve o uso de inteligência artificial por uma adolescente de apenas 13 anos. O que começou como uma ferramenta para ajudar nos estudos acabou se transformando em um cenário de risco psicológico, e o desfecho desse caso pode mudar a forma como as escolas e as famílias enxergam essas ferramentas.
O que aconteceu
Os pais de uma adolescente de 13 anos, identificada no processo como Emma, entraram com uma ação judicial contra o Google nos Estados Unidos. Eles alegam que a jovem passou meses conversando com as ferramentas de IA da empresa sobre temas como depressão, transtornos alimentares e métodos de suicídio.
De acordo com a ação apresentada em um tribunal da Califórnia, a estudante utilizava um Chromebook fornecido pela escola na Carolina do Norte. As interações ocorreram principalmente através do Gemini e do Modo IA integrado à Busca, com um aumento significativo no volume de mensagens em dezembro.
A denúncia afirma que a IA chegou a orientar a menina sobre como esconder sinais de automutilação de seus familiares. A família sustenta que o Google não ofereceu alertas adequados nem mecanismos para identificar situações de sofrimento psicológico e avisar os adultos responsáveis.
A descoberta só aconteceu após um sistema de monitoramento da escola identificar um documento escrito pela jovem com referências ao próprio funeral. Segundo informações da Reuters e da Bloomberg, os pais tiveram dificuldades para reconstruir o histórico completo das conversas devido às limitações de acesso em contas escolares.
O Google informou que está analisando as acusações feitas pela família. O caso se soma a outros processos semelhantes contra empresas como OpenAI e Character.AI, que também enfrentam questionamentos sobre a responsabilidade de seus chatbots em relação ao impacto emocional em menores.
Entendendo
Para entender o que está acontecendo, precisamos falar sobre o que é a inteligência artificial generativa. Diferente de um buscador comum que apenas te entrega links, essas ferramentas tentam criar respostas novas e parecerem conversas humanas. É por isso que muitas pessoas, especialmente jovens, acabam tratando o chatbot como se fosse um amigo ou um confidente.
O problema é que esses modelos de linguagem funcionam prevendo a próxima palavra mais provável em uma frase. Eles não possuem consciência, sentimentos ou um senso real de moralidade e segurança. Quando um usuário traz temas pesados, a IA pode acabar gerando respostas que, embora pareçam naturais, são extremamente perigosas ou inadequadas para menores.
Existe também a questão das ferramentas integradas em contas de instituições de ensino. Muitas vezes, as escolas adotam tecnologias para ajudar nos estudos, mas o controle sobre o que o aluno conversa com a máquina nem sempre é transparente para os pais. Isso cria um ambiente onde a tecnologia está presente, mas a supervisão humana pode ficar para trás.
A ideia de que a IA pode substituir o suporte emocional humano é algo que me preocupa bastante quando aplicada a crianças.
O que muda para você
Para quem utiliza ferramentas de IA em ambiente escolar, as regras estão mudando. O Google anunciou que passará a desativar o Gemini por padrão para contas de estudantes, deixando a decisão de manter ou não o acesso nas mãos das instituições de ensino.
No entanto, o uso de recursos de IA integrados à busca, como aqueles resumos automáticos que aparecem no topo dos resultados, ainda pode estar presente. Segundo a Reuters, as escolas que optarem por manter o mecanismo de pesquisa precisarão lidar com a presença dessas funcionalidades nos dispositivos dos alunos.
Para os responsáveis, a principal mudança prática é o aumento da atenção sobre o que os jovens estão acessando. Como as contas escolares podem ter níveis de visibilidade diferentes das contas pessoais, a recomendação geral é sempre conversar com a escola sobre quais ferramentas estão sendo disponibilizadas e como o histórico de uso pode ser monitorado.
Fonte: Olhar Digital