A sedução e o risco da quantificação

“Rather than revealing truth, indicators create it.”[1]

“Data are never complete and may not measure exactly what the author of the indicator seeks to access. Thus the truth of indicators can be quite misleading.” [2]

“Quantification has a great deal to contribute to global knowledge and governance, but it is important to resist its seductive claim to truth and to reorganize it is as only one form of knowledge with its own distinctive limitations.” [3]

O título e o objetivo desta coluna foram inspirados pelo excelente livro de Sally Merry, The Seduction of Quantification. Measuring Human Rights, Gender Violence and Sex Trafficking[4]. Nele, a autora analisa o que está por trás da utilização de vários indicadores para mensurar problemas complexos, como direitos humanos, violência de gênero e tráfico sexual.

Sobre a sedução da quantificação e a cultura dos indicadores

Para a autora, vivemos em uma época marcada pela sedução da quantificação e pela cultura dos indicadores. Por meio de tais recursos, podemos fazer comparações e rankings, organizar e simplificar o conhecimento, bem como facilitar o processo decisório na ausência de informações contextuais e detalhadas. Sob vários aspectos, a quantificação atende a nosso desejo por um conhecimento simples e acessível, além de preencher a tendência humana de ver o mundo por meio de hierarquias de reputação e status.

Daí o protagonismo dos indicadores, vistos como formas de organização e apresentação sistemática e comparativa da informação, a fim de possibilitar o cotejo entre realidades distintas ao longo do tempo e oferecer informações úteis para a avaliação do cumprimento de metas e objetivos.

Outro ponto importante da cultura de indicadores é que, se tudo precisa ser mensurado, há necessidade de um corpo de expertise tecnocrática para elaborar os instrumentos de mensuração. Daí por que se coloca uma grande expectativa não só na expertise técnica, como no valor dos dados numéricos como forma de conhecimento e base para decisões.

Consequentemente, o fenômeno da cultura de indicadores está baseado na crença na racionalidade técnica e na possibilidade tanto de leitura do mundo social por meio de mensurações e estatísticas, como de mensuração e comparação entre diferentes realidades sociais. Tal forma de ver o mundo ainda se baseia na neutralidade e na objetividade dos indicadores, os quais seriam sempre referenciais fidedignos para orientar políticas públicas baseadas em evidências.

Riscos da utilização de indicadores

Entretanto, Sally Merry nos mostra o quanto tais premissas são irreais e o quanto as expectativas que normalmente se depositam nos indicadores nem sempre consideram, com a devida atenção, os enormes riscos inerentes à sua utilização.

Com efeito, traduzir e converter realidades confusas e complexas para categorias simples é um processo que encerra em si grande risco de distorcer a complexidade do fenômeno social. Afinal, contar e mensurar coisas exige que elas se tornem comparáveis, o que faz com que, em muitos casos, elas precisem ser descoladas do seu contexto, da sua história e do seu significado, bem como que sejam abstraídos aspectos essenciais, como a linguagem, a cultura, a história e o lugar.

Consequentemente, precisamos assumir que não é fácil comparar questões complexas, como liberdade, pobreza e direitos humanos. Para que isso se torne possível, é muitas vezes imperioso simplificar o conhecimento a tal ponto que, a depender do caso, ele deixará de ser útil ou se tornará completamente distorcido.

Por óbvio, isso não quer dizer que o conhecimento quantitativo não seja útil, pois a própria autora o considera essencial. A sua advertência é a de que, se ele não estiver conectado com outras formas de conhecimento qualitativo, pode levar a grandes simplificações, inferências descontextualizadas, homogeneizações indevidas e negligência tanto da estrutura social na qual os fatos estão embutidos como dos sistemas locais de significados. Daí o risco de se produzir um conhecimento parcial, distorcido e enganoso.

Todavia, ainda há um risco mais grave. Por mais que os números procurem aplacar nosso desejo pelo conhecimento sem ambiguidade ou vieses e as informações estatísticas sejam muitas vezes usadas para atribuir a decisões políticas a característica de serem científicas ou baseadas em evidências, não é bem assim que as coisas acontecem.

Como os dados precisam sempre de interpretação, é inequívoco que a elaboração de um indicador envolve complexos juízos valorativos e muitas escolhas, que vão desde os dados que devem ser considerados e como devem ser considerados. Daí a tese da autora de que os indicadores não revelam a realidade, mas sim a criam, na medida em que representam um jeito particular de decotar aspectos da realidade ou de trazer à tona uma face da realidade dentre outras possíveis.

Soma-se a isso as próprias dificuldades inerentes às análises de dados, especialmente quando os dados são precários, limitados ou inconclusivos, quando há necessidade de utilização de proxies ou quando os pesquisadores se deparam com grandes incertezas.

Daí por que não se pode entender que a análise de dados ou a análise empírica é propriamente uma análise objetiva. Aliás, um dos propósitos do livro de Sally Merry é precisamente desbancar o mito da objetividade das análises quantitativas e dos indicadores que costumam ser por elas utilizados.

O mito da objetividade dos indicadores

Para a autora, a objetividade de tais indicadores é um mito por duas grandes razões. A primeira delas é que a quantificação cria uma falsa especificidade: o indicador normalmente apresenta ter uma acurácia e uma precisão bem maiores do que tem na verdade. A segunda é que tais análises quantitativas camuflam considerações valorativas e políticas.

Com efeito, os indicadores são moldados – as vezes até inconscientemente – pelas premissas, motivações e preocupações daqueles que estão elaborando. Uma vez que são produzidos por indivíduos, networks e instituições que têm seus interesses e possuem suas agendas, é claro que tais perspectivas são determinantes para os resultados.

Esse segundo aspecto é particularmente importante pois, apesar da proeminência contemporânea do conhecimento quantificado, há pouca analise sobre os seus efeitos no conhecimento e na governança, assim como há pouca preocupação com os processos sociais e políticos da produção desses índices.

Para a autora, muito da cultura de indicadores baseia-se na aceitação pragmática da mensuração imperfeita e do ceticismo em relação a política. Daí por que se desloca o processo decisório para técnicos, que supostamente oferecerão expertise e objetividade para assegurar a credibilidade e a legitimidade dos indicadores por eles criados.

Daí Sally Merry vincular a cultura de indicadores à ideia de regulação baseada em evidências, que também valoriza o empirismo e o conhecimento quantitativo traduzido em guias, standards, métricas e avaliações de perfomance que são essenciais para a tomada de decisão. A consequência básica dessa visão de mundo é a de transferir a responsabilidade por decisões e políticas públicas para experts – especialmente para experts em quantificação – o que reforça a tensão entre tecnocracia e democracia.

É no contexto dessas discussões que a obra sob análise procura desvelar, a partir de cuidadosos exames etnográficos sobre três importantes indicadores globais – violência contra mulheres, tráfico de pessoas e violações de direitos humanos –, como tais indicadores são construídos, a fim de demonstrar que eles realmente refletem os mundos sociais e culturais dos atores e das organizações que os criam e também o regime de poder nos quais são formados. Entretanto, esse aspecto social e político dos indicadores é normalmente ignorado em face das premissas que aceitam facilmente e sem maior reflexão a objetividade dos números e o valor da racionalidade técnica.

Para a autora, os indicadores fazem parte de um regime de poder baseado na coleta e análise de dados e suas representações. Assim, é fundamental saber quem cria esses dados, de onde vêm esses dados, como são interpretados e por meio de que tipo de expertise. É nesse contexto que a autora desenvolve o argumento central do livro, segundo o qual a produção e o uso de indicadores globais é moldado por desigualdades em poder e em expertise.

No caso dos indicadores de violência contra mulheres, a autora mostra, por exemplo, que eles ignoram os complexos processos sociais e as ideologias competem em torno do que causa a violência contra mulheres. Daí o resultado final de distanciamento da realidade.

Mito da neutralidade

Entretanto, o aspecto mais interessante da análise da autora é verificar como a elaboração de tais índices está cercada de muitas escolhas valorativas, o que afasta, por si só, o mito da neutralidade:

Portanto, ao analisar o processo de elaboração dos três índices objeto de sua pesquisa, a autora mostra como eles são claramente produtos de instituições particulares, de contextos políticos e econômicos, de preferências culturais por quantificação e de determinadas agendas de reforma e gerenciamento. Em cada caso, um conjunto específico de atores, apoiadores institucionais e teorias produziram esses indicadores, os quais resultaram da expertise específica desses autores e da disponibilidade de dados.

Há, portanto, uma verdadeira “política dos indicadores”, que fica visível nas categorias que são construídas, nas decisões que são tomadas sobre o que deve ser considerado ou nos conceitos que devem ser mensurados. Afinal, todo o conhecimento embutido nos indicadores decorreu da interpretação que lhe foi dada pelos atores envolvidos no processo.

A partir de tais constatações, fica fácil entender as conclusões finais da autora, no sentido de que cada sistema de mensuração realmente constrói uma teoria da vida social e das estratégias para mudanças, sendo que tal teoria está totalmente embutida na forma como os dados foram coletados, organizados e apresentados.

Todas essas considerações, repita-se, são apresentadas pela autora não para desmerecer o conhecimento quantitativo e os indicadores. O alerta da sua obra é de que, assim como precisamos fazer melhores indicadores, precisamos conciliar o conhecimento quantitativo com o conhecimento qualitativo.

Mais do que isso, precisamos entender que mesmo o conhecimento quantitativo não tem a objetividade que normalmente lhe é atribuída pois decorre de uma série de avaliações subjetivas e de escolhas valorativas que os seus formuladores precisam enfrentar, notadamente que dados serão utilizados e como serão utilizados.

Aliás, do ponto de vista democrático, seria muito importante que tais avaliações e escolhas fossem públicas e suscetíveis do controle social. Tal tipo de transparência certamente facilitaria a identificação das falhas e reducionismos dos índices, possibilitando não só esforços para o seu aprimoramento como também para a devida complementação com o conhecimento qualitativo que se mostrar necessário em cada caso.

Fonte: Jota

[1] MERRY, Sally Engle. The Seduction of Quantification: Measuring Human Rights, Gender Violence, and Sex Trafficking. Chicago Series in Law and Society. 2016, p. 5.

[2] MERRY, Sally Engle. The Seduction of Quantification: Measuring Human Rights, Gender Violence, and Sex Trafficking. Chicago Series in Law and Society. 2016, p. 5.

[3] MERRY, Sally Engle. The Seduction of Quantification: Measuring Human Rights, Gender Violence, and Sex Trafficking. Chicago Series in Law and Society. 2016, p. 222.

[4] Op.cit.

[5] Op.cit., p. 111.