Califórnia aprova regras de segurança para chatbots de companhia e crianças
No dia 10 de setembro, o governador da Califórnia, Gavin Newsom, assinou um pacote de 13 projetos de lei sobre a segurança das crianças na internet, num evento no condado de Marin. Um deles, que o governo chama de Lei Adam, em homenagem a Adam Raine, cria regras para chatbots de companhia usados por crianças. Chatbot de companhia é aquele feito para agir como amigo ou parceiro em conversas que se repetem ao longo do tempo, diferente de um robô de suporte que responde uma pergunta.
O governo chama essa de a lei de segurança para chatbots mais forte do país. O projeto da lista que corresponde a ela é o SB 1119, chamado Companion chatbots: children's safety, do senador Steve Padilla com as deputadas estaduais Buffy Wicks e Rebecca Bauer-Kahan.
O que a lei de chatbots exige
Segundo o comunicado, a lei exige protocolos de crise quando uma criança fala em suicídio, controle dos pais e um aviso quando a criança desliga os ajustes de segurança. O governo diz que ela também é a primeira lei dos EUA a exigir que as empresas façam auditorias independentes de segurança infantil e avaliações de risco anuais.
O mesmo pacote inclui um projeto separado sobre brinquedos com chatbots de companhia, o SB 867. Outros projetos proíbem recursos viciantes, como reprodução automática e feeds baseados no histórico do usuário, para menores de 16 anos em redes sociais, ampliam as leis contra exploração sexual infantil para cobrir imagens de menores geradas por IA e limitam a publicidade direcionada a crianças e o uso de dados de alunos da educação básica em sistemas de IA.
O que ainda não se sabe
O comunicado não diz quando cada lei entra em vigor, quais empresas são cobertas nem quais são as multas. Esses detalhes estão no texto de cada projeto, e são eles que definem quem precisa mudar o quê. Um dia antes, em 9 de setembro, o governo tinha anunciado outra lei de IA, a SB 813, sobre organizações independentes de verificação, que não entra neste texto.
O que fazer se você faz produtos de chat
Se você faz um aplicativo de conversa que adolescentes podem usar, leia o próprio SB 1119 antes de planejar qualquer mudança, porque o resumo acima vem do governo e não da lei. Comece pela parte dos protocolos de crise: decida o que o seu aplicativo faz quando um usuário jovem escreve sobre se machucar, e quem na sua equipe responde por isso.
O que a gente pensa
Protocolo de crise e controle dos pais são coisas que uma empresa cuidadosa já deveria ter, então a parte mais exigente aqui é a auditoria independente. Ela tira da palavra da própria empresa a resposta sobre se um chatbot é seguro para crianças e passa para uma revisão de fora, e a gente espera que outros estados copiem essa ideia.
Fontes