O julgamento da Ação Direta de Inconstitucionalidade 6.389, também conhecida como caso IBGE, pelo Supremo Tribunal Federal já se tornou um marco para a tutela da proteção de dados no Brasil. Para além do do reconhecimento da proteção de dados enquanto um direito fundamental autônomo, a fundamentação de parte dos votos abre espaço para uma outra discussão de talvez ainda maior importância: a releitura da cláusula do devido processo em meio a um cenário crescente de automatização de processos de tomadas de decisão que afetam as liberdades dos indivíduos, que já tem sido chamado devido processo informacional. O Ministro Gilmar Mendes, em seu voto afirma:

“É possível identificar como corolário da dimensão subjetiva do direito à proteção de dados pessoais, a preservação de verdadeiro “devido processo informacional” (informational due process privacy right), voltado a conferir ao indivíduo o direito de evitar exposições de seus dados sem possibilidades mínimas de controle, sobretudo em relação a práticas de tratamento de dados capazes de sujeitar o indivíduo a julgamentos preditivos e peremptórios.”

Nesse texto, iremos apresentar algumas discussões ligadas à regulação e imposição de salvaguardas em processos de tomada de decisão automatizados. O tópico de discriminação e vieses em algoritmos não é novo. Contudo, queremos chamar atenção para a (falta) de aderência da cláusula do devido processo, especialmente quando se trata de uma situação em que o poder público está avaliando seus cidadãos para a tomada de uma decisão a seu respeito.

Em primeiro lugar, é importante deixar claro sobre o que estamos falando. Diversas atividades de tratamento de dados buscam classificar-perfilhar (profiling) um indivíduo ou um grupo de indivíduos (grouping) de acordo com alguma finalidade. Um conhecido exemplo é a elaboração de scores de crédito, indicando o grau de risco que de determinada pessoa quitar ou não uma dívida.

Contudo, diversos outros exemplos podem ser encontrados. Recentemente, o sistema de avaliação de entregadores e motoristas de aplicativos de entrega, que pode levar aos trabalhadores serem bloqueados no aplicativo, vem sendo questionado.

Outro exemplo conhecido é o emprego de algoritmos de análise de risco em processos criminais, avaliando a chance de reincidência de um réu, servindo de base para juízes concederem ou não a liberdade condicional. Em um dos casos mais famosos, o COMPAS, investigações encontraram evidências que réus negros eram sistematicamente discriminados, recebendo avaliações que indicavam um risco maior de reincidência .

Além dos danos individuais advindos de processos discriminatórios, há de se ter também uma preocupação a respeito de como o uso de soluções guiadas pelo tratamento de dados, quando não abertas ao escrutínio público, podem intensificar a exclusão de grupos vulneráveis.

A cidade de Boston decidiu lançar, em 2012, um aplicativo de celular que cidadãos utilizariam enquanto dirigem seus carros para detectar buracos e falhas no asfaltamento das ruas. A partir dessas informações, a prefeitura da cidade iria determinar os pontos prioritários para recapeamento das ruas. Contudo, a produção desses dados só era feita por cidadãos que possuíam algum smartphone, áreas mais pobres se tornaram invisíveis pela métrica adotada.

Como argumenta a autora Julie Cohen, a garantia do direito à privacidade (e porque não, também a proteção de dados), tem como propósito não a reclusão do indivíduo perante à sociedade, mas justamente o oposto, propiciando a capacidade de navegar por múltiplos ambientes sociais e culturais com liberdade para experimentar diferentes vivências sem que seja estigmatizado por isso.

“Além disso, a privacidade não protege apenas os indivíduos. A privacidade promove objetivos fundamentais de políticas públicas relacionadas à cidadania liberal democrática, à inovação e ao florescimento humano, e esses propósitos também devem ser levados em consideração na elaboração de políticas de privacidade.”^[1]

Por consequência, com uma privacidade diminuída ou ameaçada a possibilidade de exercício de uma subjetividade crítica também é afetada. Isso também implica diretamente na possibilidade de concretização e manutenção de um sistema de democracia liberal, visto que nesse cenário os cidadãos terão cada vez menos a capacidade ou disposição de contestar práticas que consideram abusiva e buscar agendas de mudança^[2].

Uma das alternativas a aplicação de sistemas totalmente automatizados é a inserção de humanos no processo de tomada de decisão (também conhecido como Human-in-the-loop). Contudo, essa solução, embora possa mitigar alguns dos problemas, também deve ser analisada com cuidado.

Alguns autores argumentam que, mesmo quando uma decisão automatizada serve apenas como recomendação para a decisão final (a ser tomada por um humano), ela poderá ser o elemento decisivo, transformando a própria noção do que entendemos como processo de tomada de decisão. Isso porque, para desconsiderar uma recomendação o operador humano terá que usar argumentos que seriam aferíveis quantitativamente tanto quanto as previsões algorítmicas. Nesse caso, todo espaço para alguma concepção pessoal de justiça ou mesmo de incerteza é eliminado em favor de uma mensuração preditiva avessa a riscos^[3].

Portanto, alguns dos principais problemas encontrados com sistemas de tomada de decisão automatizada incluem: falta de transparência, dificuldade de identificação e correção de erros, dificuldade de contestar decisões e reforço de desigualdades já existentes.

No sistema democrático de direito (rule of law), decisões que afetam o interesse de uma pessoa (por exemplo, a revogação de uma assistência social) devem ser informadas previamente para que ela possa contestar a decisão, se defender, ou apresentar informações adicionais que podem resultar na reversão da decisão. Como colocam os autores Danielle Citron e Frank Pasquale:

“Novos tomadores de decisão algorítmicos são soberanos sobre aspectos importantes da vida individual. Se a lei e o devido processo estão ausentes nesse campo, estamos essencialmente abrindo caminho para uma nova ordem feudal de intermediários reputacionais que não são chamados a prestar contas.”^[4]

É exatamente para evitar o crescimento da assimetria informacional e colocar em xeque relações de poder que o devido processo informacional se mostra como uma garantia cada vez mais necessária. Aliás, a própria autonomia do direito à proteção de dados pessoais frente ao direito à privacidade está enraizada nessa racionalidade de devido processo. Essa foi afirmação pioneira do advogado Arthur Miller durante o processo de elaboração das chamadas fair information practice principles no Departamento de Estado e bem estar social dos Estados Unidos da América:

“Existe uma certa combinação entre temas de privacidade e os demais temas constitucionais. Minha visão pessoal é que provavelmente um dos maiores bastiões constitucionais da privacidade ainda não explorado pelas cortes ou pelos defensores ativistas é o conceito de devido processo legal, a noção de que governos não podem privá-lo de sua vida, liberdade, propriedade, sem o devido processo legal, uma restrição que recai tanto sobre o governo nacional quanto, claro, sobre os estados e governos locais.? Me parece que está por ser escrito o capítulo sobre devido processo informacional.

E certos tipos de levantamentos, usos e disseminação de informação governamental podem ser desafiados quando violarem o devido processo (…) E é também interessante notar que o direito original à privacidade, concebido por Warren e Brandeis, em seu doutrinário e significante artigo em 1890, era simplesmente o direito que um indivíduo teria contra a mídia de massa. Não foi concebido para ser um direito geral. Não foi concebido para ser um direito individual contra o Estado. Era simplesmente, como colocou Brandeis, o direito de ser deixado a sós pela grande mídia.”^[5]

Assim, o devido processo legal, para além de sua dimensão de ser um instrumento de garantias processuais em sede judicial (servindo de base para princípios como do juiz natural, inafastabilidade da jurisdição e todas demais garantias previstas pelo sistema processual), deve também ser entendido como uma ferramenta de assegurar a simetria e proporcionalidade de uma forma mais ampla. Tanto as relações indivíduo-estado, quanto as relações privadas em que há uma assimetria de poder devem ser permeadas pela garantia do devido processo, evitando que ações arbitrárias e intrusivas sejam tomadas sem que o sujeito tenha a capacidade de se defender.

Essa capacidade vem sendo ameaçada com a adoção de sistemas de tomada de decisão automatizada, que, seja por razões técnicas (dificuldade de auditar uma decisão algorítmica que emprega técnicas de machine-learning, por exemplo), seja por razões jurídicas (proteção do segredo comercial ou industrial), levam a decisões que são determinantes para a vida do sujeito, sem que este possa ao menos saber os fatores que levaram àquela decisão, sendo mais difícil ainda uma eventual contestação do resultado.

A Lei Geral de Proteção de Dados (Lei 13.709) inaugura esse regime com o direito de revisão de decisões automatizadas, previsto em seu art. 20, caput. Além disso, o art. 20 §1º vem sendo entendido por alguns autores como uma garantia de direito à explicação^[6]. Ambas são importantes salvaguardas que permitem uma permeabilidade do Direito nos processos algoritmos. Contudo, mais mecanismos de transparência, auditoria e especialmente quando se tratar de decisões tomadas pelo Estado, devem continuar a ser elaborados.

Para além da imposição de obrigações legais sob atividades de tratamento de dados, a participação pública e popular na elaboração de soluções digitais e tecnológicas pode também ser um caminho ainda mais proveitoso. Um dos melhores exemplos a serem citados é o da cidade de Barcelona, que sob a coordenação da pesquisadora Francesca Bria iniciou o “Programa de digitalização aberto e ágil da Prefeitura de Barcelona [Barcelona City Council’s Open and Agile Digitalisation Programme].”

A partir de software livre; código, padrões, formatos abertos os cidadãos poderão colaborar na elaboração de políticas públicas e o uso de blockchain para registro do que o Estado faz com os dados pessoais dos cidadãos, há uma espécie de contravigilância cujo objetivo é redução da assimetria de informação e, sobretudo, de co-deliberação na formatação desses circuitos decisórios automatizados.

Iniciativas como essa demonstram que é possível conjugar avanços tecnológicos e digitalização de serviços à observância direitos fundamentais, sem recair nas armadilhas dos exemplos citados no texto. A garantia do devido processo lhes dá densidade jurídica, garantindo uma espécie de contraditório e ampla defesa a ser exercido de forma coletiva em contraponto à ação em tempo real e opaca dos algoritmos.

FONTE: JOTA

BRUNO R. BIONI – Doutorando em Direito Comercial e Mestre em Direito Civil pela Faculdade de Direito da USP. Trainee do European Data Protection Board e do Departamento de Proteção de Dados do Conselho da Europa. Fundador-professor do Data Privacy Brasil e consultor na área de direito e tecnologia com ênfase em proteção de dados pessoais (www.brunobioni.com.br).
PEDRO MARTINS – Mestrando em Direito pela Faculdade de Direito da UFMG onde desenvolve pesquisa na área de proteção de dados pessoais e analista acadêmico do Data Privacy Brasil.

Conheça a obra Proteção de Dados Pessoais

LEIA TAMBÉM

Veja aqui outros textos do autor!

^[1] COHEN, Julie. What is Privacy For. Harvard Law Review, vol. 126, 2013, p. 19-20.

^[2] COHEN, Julie. What is Privacy For. Harvard Law Review, vol. 126, 2013.

^[3] ROUVROY, Antoinette. The end(s) of critique: data behaviourism versus due process. In: HILDEBRANDT, Mireille; DE VRIES, Katja (eds.). Privacy, Due Process and the Computational Turn: the philosophy of law meets the philosophy of technology. New York: Routledge, pp. 143-167, 2013.

^[4] CITRON, Danielle, PASQUALE, Frank. The Scored Society: Due Process for Automated Predictions. Washington Law Review, Vol. 89, 2014, p. 19.

^[5] MILLER, Arthur. Transcription of the 1st Meeting Part I of the Secretary’s Advisory Committee on Automated Personal Data Systems of the U.S. Department of Health, Education and Welfare, p. 267. [Destaques não constam no original].

^[6] MONTEIRO, Renato Leite. Existe um direito à explicação na Lei Geral de Proteção de Dados Pessoais?, Instituto Igarapé, Artigo Estratégico nº 39, Dezembro de 2018.