AI washing e o caso IntelliVision: lições em ética e conformidade na IA
Empresas que lidam com essas tecnologias precisam ir além de promessas vazias
Beatriz Haikal, Daniel Becker, Gabriela Sotomayor
As tecnologias de reconhecimento facial têm moldado uma realidade em que rostos não apenas identificam, mas também conectam pessoas a serviços e experiências. De sistemas de segurança a serviços financeiros e varejo, o uso dessa tecnologia tem se expandido rapidamente, impulsionado por avanços na inteligência artificial e no aprendizado de máquina.
À medida que essas ferramentas se tornam cada vez mais presentes em diferentes setores, aumentam as preocupações com precisão, transparência e os impactos éticos das práticas empresariais relacionadas ao seu desenvolvimento.
O caso da IntelliVision Technologies Corp., recentemente analisado pela Federal Trade Commission (FTC), ilustra os riscos associados a alegações infundadas sobre a eficácia de seu sistema de reconhecimento facial, evidenciando a necessidade de maior responsabilidade no desenvolvimento e comercialização de soluções tecnológicas.
A investigação da FTC revelou que as promessas da IntelliVision de alta precisão, ausência de vieses e eficiência na detecção de fraudes careciam de suporte em testes confiáveis ou evidências concretas. Em um dos exemplos mais marcantes, a empresa declarou que seu sistema havia sido treinado com milhões de imagens, mas a FTC constatou que apenas cerca de 100 mil imagens únicas foram utilizadas, complementadas por variantes artificiais, insuficientes para garantir diversidade e evitar vieses discriminatórios.
A FTC também identificou a ausência de documentação adequada sobre os testes realizados pela empresa, especialmente em relação ao desempenho do sistema em condições reais, como diferentes tons de pele e gêneros. Como resultado, a FTC emitiu uma ordem proibindo a IntelliVision de continuar com as declarações sobre a precisão, eficácia ou imparcialidade de sua tecnologia e determinou a implementação de medidas rigorosas de conformidade, como a realização de testes robustos, a manutenção de registros detalhados e o envio de relatórios periódicos à FTC por até 20 anos para comprovar que suas tecnologias atendem aos padrões declarados.
A discrepância entre o que foi prometido pela IntelliVision e a realidade técnica de seu sistema evidencia como alegações enganosas envolvendo tecnologias de IA podem gerar consequências significativas. Ao contrário de hipérboles comuns de marketing, afirmações infladas no contexto da IA podem ter impactos profundos, podendo gerar decisões injustas, comprometer a confiança pública em inovações tecnológicas e perpetuar desigualdades sistêmicas, impactando de forma desproporcional grupos já marginalizados.
Em aplicações de segurança, um erro de identificação pode resultar em prisões equivocadas, enquanto no setor financeiro pode restringir indevidamente o acesso a serviços bancários. Nos Estados Unidos, o caso de Robert Williams chamou atenção para esses problemas. Ele foi preso injustamente após um sistema de reconhecimento facial identificá-lo erroneamente como suspeito de um crime. Williams passou 30 horas detido antes que a polícia reconhecesse o erro. O episódio reforça como tecnologias imprecisas ou enviesadas podem gerar impactos reais e profundos na vida das pessoas, evidenciando a necessidade de mais rigor e transparência no desenvolvimento dessas ferramentas.
A atuação da FTC destaca a importância de reguladores atentos em mercados de rápida evolução. Decisões como essa reforçam a mensagem de que práticas enganosas não serão toleradas e enfatizam a transparência como pilar essencial no contexto da IA.
O caso IntelliVision não é um caso isolado. Tecnologias de reconhecimento facial têm sido alvo de escrutínio crescente. A Clearview AI, por exemplo, foi multada em € 20 milhões pela Autoridade Italiana de Proteção de Dados por violações de princípios como transparência e limitação de finalidade, decorrentes do uso de web scraping para criar bancos de dados biométricos.
O caso da IntelliVision também exemplifica um fenômeno crescente no mercado de inteligência artificial: o AI Washing. O termo refere-se à prática de empresas que exageram ou falsificam alegações sobre o uso de IA em seus produtos para se destacarem no mercado.
[ … ]
Empresas que lidam com essas tecnologias precisam ir além de promessas vazias e assegurar que seus produtos sejam desenvolvidos e aplicados de forma ética, transparente e segura. O verdadeiro desafio não está apenas em evitar erros ou minimizar riscos, mas em assegurar que essas ferramentas poderosas sejam desenvolvidas e aplicadas para promover o bem comum, contribuindo positivamente para o futuro de uma sociedade mais justa e equitativa.
Beatriz Haikal. Sócia da área de Proteção de Dados e Inteligência Artificial no BBL Advogados. Graduada em Direito pela PUC-Rio e pós-graduada em Estado e Sociedade pela AMPERJ. Vice-presidente da Comissão de Crimes Digitais da OAB-RJ, Certified Information Privacy Manager pela International Association of Privacy Professionals, IAPP Member e OneTrust Certified Privacy Professional
Daniel Becker. Sócio das áreas de Contencioso e Arbitragem e de Proteção de Dados e Inteligência Artificial no BBL Advogados. Diretor de Novas Tecnologias no Centro Brasileiro de Mediação e Arbitragem (CBMA), atua com foco em litígios contratuais oriundos de setores regulados
Gabriela Sotomayor. Advogada na área de Proteção de Dados e Regulatório de Novas Tecnologias no BBL | Becker Bruzzi Lameirão Advogados. Graduada em Direito pela Universidade do Estado do Rio de Janeiro (UERJ), Certified Privacy Professional e Data Mapping Expert pela OneTrust e Membro da Comissão de Crimes Digitais da OAB-RJ
