Sistemas automatizados de decisão ainda não possuem regulação adequada para os riscos que advêm do seu uso
Eduardo Magrani, Doutor em Direito. Affiliate no Berkman Klein Center na Universidade de Harvard. Sócio do Demarest Advogados. Pós Doutor na Universidade Técnica de Munique (TUM) em Proteção de Dados e Inteligência Artificial. Presidente do Instituto Nacional de Proteção de Dados no Brasil. Colunista do MIT Tech Review.
Paulo Rodrigo de Miranda, Analista do Ministério Público Federal do Rio Grande do Sul (MPF/RS). Discente junto ao PPGD pela Universidade Federal de Santa Maria/RS (UFSM). Especialista em Direito Público. Integrante do projeto de pesquisa: a ressignificação do constitucionalismo.
Crédito: Unsplash
Um artigo publicado em 2015 por Rich Caruana, pesquisador da Microsoft, e seus colegas, revelou uma face obscura dos sistemas de Inteligência Artificial (IA). O referido pesquisador e sua equipe realizaram um estudo sobre um sistema que tinha como objetivo prever a probabilidade de morte para pacientes com pneumonia, de modo a facilitar a triagem dos pacientes de alto risco, viabilizando sua imediata internação no hospital.
No estudo, constatou-se que a escolha de um sistema menos complexo permitiu a identificação de uma falha, na qual o modelo entendia que os pacientes com pneumonia tinham menor risco de morrer do que a população em geral. Isso ocorreu porque, na prática, os pacientes com asma eram internados diretamente nas Unidades de Terapia Intensiva (UTI), o que em dados resultava num prognóstico melhor que a média dos demais pacientes. Esse contexto de informações resultou numa falsa compreensão pelo sistema de IA, no qual o algoritmo interpretou que a asma reduziria o risco dos pacientes e dispensaria a hospitalização.
Diante disso, questões envolvendo a opacidade e a falta de transparência de sistemas automatizados de decisão impõem a criação de mecanismos de governança que viabilizem a mitigação de riscos, a prestação de contas e a responsabilização por parte dos controladores de dados. Embora não existam disposições legais explícitas a respeito das correlações e inferências realizadas pelos algoritmos, as atuais legislações de proteção de dados servem como vetores normativos importantes no desenvolvimento de instrumentos que apontem diretrizes para o enfrentamento dos problemas relacionados à proteção dos direitos e liberdades fundamentais dos destinatários dos sistemas automatizados.
Os sistemas automatizados de decisão ainda não possuem uma regulação adequada para os riscos que advêm do seu uso. Essa lacuna legislativa somada à racionalidade econômica subjacente a esses sistemas orientados pela presença de monopólios empresariais, que se valem da assimetria informacional, exigem reflexões a respeito do emprego justo desses sistemas, sem reduzir as qualidades dos seres humanos à subsunção de resultados preditivos derivados do processamento de dados oriundos de big data.
A LGPD e os sistemas automatizados de decisão
No âmbito brasileiro, a Lei Geral de Proteção de Dados (LGPD), ou Lei 13.709/2018, acompanhou o fluxo internacional na regulamentação da proteção de dados ao apresentar uma matriz principiológica na tutela das informações pessoais, abordando diversas obrigações a serem observadas pelos controladores de dados. Dentre os princípios mais relevantes quando se trata de sistemas automatizados de decisão, destacam-se os da transparência (artigo 6º, VI); da adequação (artigo 6º, II); da prevenção (artigo 6º, VIII); da não discriminação (artigo 6º, IX) e da responsabilização e prestação de contas (artigo 6º, X).
O princípio da transparência garante aos destinatários dos tratamentos de dados informações claras, precisas e facilmente acessíveis sobre a realização desses tratamentos, ainda que observados os segredos comercial e industrial. No mesmo sentido, o princípio da adequação propicia que o tratamento de dados seja compatível com as finalidades informadas ao titular, de acordo com o contexto do tratamento. Nesse viés, a prevenção demanda a adoção de medidas ex ante no intuito de evitar danos decorrentes do tratamento de dados pessoais. Por fim, o princípio da não discriminação é essencial para aspectos como as diretrizes para evitar o uso abusivo de sistemas automatizados de decisão que possam configurar uma finalidade discriminatória ilícita.
Juristas ponderam que a LGPD possui duas características essenciais que impõem ao agente de tratamento a função de mitigar os riscos nas atividades de tratamento de dados pessoais: a estrutura principiológica (artigo 6º da LGPD) e as regras de boas práticas e de governança (artigo 50 da LGPD). Conforme as premissas dos referidos autores a estrutura principiológica como instrumento de regulação busca garantir que os processos em torno do desenvolvimento e utilização dos sistemas de Inteligência Artificial sejam confiáveis e auditáveis.
Nessa perspectiva principiológica, a LGPD, em seu artigo 20, aborda a tomada de decisão automatizada, viabilizando que o titular dos dados possa solicitar a revisão de deliberações que decorram de sistemas automatizados de decisão que afetem seus interesses, “incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade”.
Por sua vez, no parágrafo primeiro do referido dispositivo, está assegurado o direito à explicação, que possui inúmeras barreiras para sua efetiva implementação. Uma delas, devidamente observada por Ana Frazão (2018), abrange aspectos relacionados à compreensão de seus pressupostos básicos, por exemplo, quando uma decisão automatizada afetaria a esfera jurídica dos titulares de dados ou qual seria o grau de transparência a ser exigido nesses casos. Tais questionamentos se tornam importantes especialmente no que diz respeito aos resultados (outputs) do processamento de dados dos sistemas automatizados de decisão.
Outros problemas que restringem a efetiva aplicação do direito à explicação referem-se às barreiras técnicas no que diz respeito à acessibilidade e à compreensibilidade das informações necessárias para a transparência. Nesse ponto, a acessibilidade possui uma restrição significativa prevista no parágrafo primeiro do artigo 20 da LGPD, ao prever que o direito à explicação estaria condicionado à observância dos segredos comercial e industrial do controlador de dados. O emprego de uma ressalva genérica, tal como ocorre no referido dispositivo, no intuito de tutelar segredos empresariais, dá uma carta em branco aos controladores de dados, além de constituir uma limitação que potencializa a capacidade dos controladores de coletar dados, fazer inferências e construir perfis, sem qualquer diálogo com a sociedade para discutir se as práticas de processamento são normativamente aceitáveis.
Assim, a condução do direito à explicação para uma discussão mais ampla sobre accountability algorítmica é essencial para o amadurecimento das ferramentas que busquem mitigar os riscos nas atividades de tratamento de dados pessoais. É com base nessa reflexão que Isabella Frajhof (2022) propõe a utilização de mecanismos de compliance para a operacionalização do direito à explicação de decisões totalmente automatizadas, exigindo do agente de tratamento uma análise do impacto, adequação e proporcionalidade em que o algoritmo será aplicado, bem como esclarecimentos acerca dos métodos de interpretação aplicáveis para compreender as razões de decidir do algoritmo.
Legítimo interesse como instrumento de accountability algorítmica
Atualmente, os controladores de dados são os que definem o propósito e a relevância dos resultados do tratamento de dados, não sendo obrigados a divulgar ou justificar seus critérios e métodos usados para fazer inferências ou criar perfis que servem como insumos aos sistemas automatizados de decisão baseados em algoritmos preditivos.
O tratamento de dados pessoais na LGPD seguiu uma diretriz muito similar ao do Regulamento Geral de Proteção de Dados da União Europeia (GDPR, artigo 6º). No artigo 7º da LGPD há um rol de hipóteses que autorizam o tratamento de dados pessoais: 1) consentimento do titular; 2) cumprimento de obrigação legal ou regulatória; 3) execução de políticas públicas; 4) realização de estudos por órgãos de pesquisas; 5) execução de contrato ou procedimentos preliminares; 6) exercício regular de direitos em processo judicial, administrativo ou arbitral; 7) proteção da vida ou incolumidade física; 8) tutela da saúde; 9) legítimo interesse do controlador ou terceiro, e 10) proteção do crédito.
No caso do GDPR, quando o tratamento de dados envolve decisões automatizadas, incluindo profiling, o controlador deve encontrar formas simples de comunicar ao titular dos dados a lógica subjacente ou os critérios adotados para tomar a decisão, explicando às pessoas o funcionamento do processo (artigo 13, item 2, alínea “f” e artigo 14, item 2, alínea “g”, ambos do GDPR). Na legislação brasileira não existe nenhuma disposição legal nesse sentido.
Contudo, a referida previsão normativa da União Europeia não evitou a existência de pontos cegos na proteção dos dados pessoais e dos direitos e liberdades fundamentais dos destinatários dos sistemas automatizados de decisões. Nessa linha de pensamento, Sandra Wachter e Brent Mittelstadt, com uma percepção singular, destacam a ausência regulatória quando se aborda questões dos resultados (outputs) do processamento de dados realizados pelos próprios algoritmos.
Essa lacuna de regulamentação quanto ao tratamento dos resultados do processamento de dados, envolvendo perfilamento ou inferências, também está presente na legislação brasileira. Contudo, conforme exposto, a LGPD apresenta outros mecanismos normativos mais amplos que poderiam ser aplicados de forma conjunta no estabelecimento de diretrizes de governança dos sistemas automatizados de decisão, assegurando a mitigação de riscos e a accountability necessária para viabilizar um devido processo informacional aos destinatários dessa tecnologia.
Em seu artigo 7, a LGPD apresenta um rol de bases legais que flexibiliza o enquadramento das hipóteses autorizativas de tratamento de dados pessoais conforme as circunstâncias concretas e a sua finalidade. Dentro dessa perspectiva, o legítimo interesse (artigo 7, inciso IX, Lei 13.709/2018) representa um dos meios pelos quais vários elementos podem ser combinados para análise e mitigação dos riscos oriundos dos sistemas automatizados de decisão que trabalham com a realização de inferências e correlações oriundas do datamining.
No âmbito europeu, o legítimo interesse tem sido tratado como um mecanismo de accountability (Article 29 Data Protection Working Party – WPDP29), o que decorre da própria estrutura necessária para a avaliação da legitimidade do interesse. No mesmo sentido, Bruno Bioni (2019) foi um dos pioneiros, no âmbito nacional, ao propor um norte interpretativo da concepção de legítimo interesse aliado aos pressupostos de aplicação constantes no artigo 10 da LGPD, o que resultou na construção de uma estrutura de fatores de avaliação do interesse legítimo (legitimate interests assessment – LIA) no contexto da referida lei.
Com efeito, Bioni apresenta um guia diretivo quanto aos desdobramentos que envolveriam a operacionalização do legítimo interesse, dentre os quais se sobressai o ônus argumentativo do controlador de dados, que deve abranger a: 1) finalidade e adequação (com base na análise da situação concreta); 2) boa-fé, dentro da legítima expectativa do titular dos dados; 3) necessidade, demandando a utilização de dados pessoais estritamente necessários para a finalidade pretendida; 4) transparência no tratamento de dados; 5) responsabilização e prestação de contas através do registro das operações de tratamento de dados pessoais e 6) observância dos direitos e liberdades fundamentais.
Direito a inferências razoáveis e seu desdobramento na LGPD
Em sintonia com essa concepção teórica, poderia se conjugar a linha de raciocínio desenvolvida por Sandra Wachter e Brent Mittelstadt, ao apresentarem o direito a inferências razoáveis como uma preocupação para o gerenciamento dos resultados (outputs) dos processamentos de dados, os quais não são preocupações regulatórias expressamente constantes no GDPR e nem mesmo na LGPD.
Nesse sentido, a legislação brasileira possui diretrizes complementares quanto ao legítimo interesse, que podem servir como parâmetros na implementação de instrumentos de transparência e mitigação dos riscos oriundos da implementação de sistemas automatizados de decisão. Embora exista uma diversidade de bases legais na qual um modelo de negócio pode enquadrar o tratamento de dados orientando-se pelo artigo 7º da LGPD, a combinação dos fatores de avaliação do legítimo interesse como ferramenta auxiliar na elaboração de um direito a inferências razoáveis revela-se como um potencial caminho na consolidação de ferramentas de governança que viabilizem uma transparência qualificada aos destinatários dos sistemas automatizados de decisão.
As fases constantes na procedimentalização do legítimo interesse coadunam com a necessidade da construção de mecanismos que permitam o desenvolvimento de políticas públicas focadas numa justificativa ex ante, exigindo dos controladores de dados informações básicas que permitam maior transparência, responsabilidade e prestação de contas na gestão dos riscos oriundos da implementação de sistemas automatizados de decisão.
Nesse viés, existem traços legislativos na LGPD que permitiriam um balanceamento entre os impactos do uso de sistemas automatizados de decisão e as legítimas expectativas dos destinatários desses sistemas, o que está inter-relacionado com a questão da criação de ferramentas de governança que possibilitam o desenvolvimento de uma justificativa ex ante, tal como a adoção de medidas preventivas no contexto da aplicação do direito à explicação. Esse raciocínio viabiliza a abertura de um espaço para um diálogo mais transparente por parte dos agentes de tratamento e oportuniza o desenvolvimento de ferramentas hábeis voltadas a prestação de contas perante os destinatários desses sistemas e da própria sociedade como um todo. Essa interpretação, inclusive, está em harmonia com as diretrizes de boas práticas e governança previstas no artigo 50 da LGPD.
Por meio de uma percepção mais ampla a respeito do direito à explicação, como mecanismo de compliance, e do uso de ferramentas lastreadas nos pressupostos de aplicação do legítimo interesse previstos no artigo 10º da LGPD, é possível afirmar que existem caminhos normativos que viabilizam a concretização de um direito a inferências razoáveis que justifiquem os elementos empregados na estrutura lógica decisória dos sistemas automatizados de decisão, resguardando-se os direitos e liberdades dos destinatários desses sistemas.
BIONI, Bruno Ricardo. Proteção de dados pessoais: a função e os limites do consentimento. Forense: Rio de Janeiro, 2019. Livro digital.
CARUANA, Rich; LOU, Yuin; GEHRKE, Johannes, KOCH, Paul; STURM, Marc; ELHADA, Noémie. Intelligile models for healthcare: predicting pneumonia risck and hospital 30-day readmission. KDD ’15: Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, August 2015 Pages 1721–1730. Disponível em: https://dl.acm.org/doi/10.1145/2783258.2788613. Acesso em 20 abr. 2020.
EUROPEAN COMMISSION. Article 29 Data Protection Working Party. Opinion 06/2014 on the notion of legitimate interests of the data controller under Article 7 of Directive 95/46/EC. 844/14/EN, WP 217, Adopted on 9 April 2014. Disponível em: https://www.dataprotection.ro/servlet/ViewDocument?id=1086. Acesso em: 20 nov. 2021.
FRAJHOF, Isabella Z. O papel dos mecanismos de compliance para a operacionalização do direito à explicação de decisões totalmente automatizadas. In: FRAZÃO, Ana, CUEVA, Ricardo Villas Bôas (Coord.). Compliance e políticas de proteção de dados. São Paulo: Livraria Revista dos Tribunais, 2022.
FRAZÃO, Ana. Controvérsias sobre direito à explicação e à oposição diante de decisões automatizadas. Jota, 2018. Disponível em: https://www.jota.info/?pagename=paywall&redirect_to=//www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/controversias-sobre-direito-a-explicacao-e-a-oposicao-diante-de-decisoes-automatizadas-12122018. Acesso em: 10 jun. 2020.
MULHOLLAND, Caitlin. GOMES, Rodrigo Dias de Pinho. Inteligência artificial e seus principais desafios para os programas de compliance e as políticas de proteção de dados. In: FRAZÃO, Ana, CUEVA, Ricardo Villas Bôas (Coord.). Compliance e políticas de proteção de dados. São Paulo: Livraria Revista dos Tribunais, 2022.
WACHTER, Sandra; MITTELSTADT, Brent. A right to reasonable inferences: re-thinking data protection law in the age of big data and IA. Columbia Business Law Review, 2019. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3248829. Acesso em: 05 jan. 2021.
Comments