TL;DR

• Com o objetivo de atualizar e aprimorar nossa metodologia de pesquisa, estudamos as metodologias de organizações de referência, a saber: GiveWell, Giving What We Can, SoGive, Founders Pledge, Rethink Priorities, Open Philanthropy e Animal Charity Evaluators. O post se propõe a compartilhar essas práticas que serviram de inspiração para a nova metodologia de pesquisa da doebem.
• Em geral, existe um conjunto de hipóteses e crenças compartilhadas pelas organizações avaliadoras que servem como pano de fundo para suas pesquisas, mas há divergências quanto à implementação.
• Como forma de otimizar a busca pelas melhores oportunidades de doação, as organizações avaliadoras focam em causas priorizadas, em geral, com base nos critérios de Importância, Tratabilidade e Negligência.
• As organizações e soluções são avaliadas, em geral, nos critérios de evidência de efetividade, custo-efetividade e abertura a novas doações. Para ser factível, este processo ocorre como um funil, iniciando com avaliações superficiais de um grande número de organizações, até avaliações profundas de um conjunto bem restrito de organizações mais promissoras.
• Nos casos em que há interesse de identificar a solução mais custo-efetiva independente da causa, é necessário equacionar os diferentes impactos, atribuindo-se pesos morais.

A atual metodologia de pesquisa da doebem foi construída com base nos aprendizados acumulados dos seus primeiros anos de existência e inspirada nas metodologias de organizações avaliadoras de referência ao redor mundo que compartilham a missão de maximizar o impacto social positivo de doações por meio da identificação de soluções mais custo-efetivas, a saber, GiveWell, Giving What We Can, SoGive, Founders Pledge, Rethink Priorities, Open Philanthropy e Animal Charity Evaluators. Este artigo tem como objetivo compartilhar as principais práticas mapeadas que guiaram a atualização da metodologia de pesquisa da doebem.

Para além do compartilhamento da missão com a doebem, as organizações que serviram de inspiração também partilham o diagnóstico a respeito do terceiro setor no mundo, de que a filantropia opera em condições distantes do ótimo, com recursos sendo empregados de maneira ineficiente, ou em outras palavras, com boa parte das doações sendo feitas para soluções com pouco ou nenhum impacto. As causas para isso são muitas, a mais notável sendo a ausência e/ou não disseminação de evidências e produção de conhecimento no e do terceiro setor. Esta, por sua vez, é um dos fatores que explicam o fato de que muitas decisões a respeito de doações são feitas sem o apoio em dados e evidências.

Desta forma, essas organizações, assim como a doebem, têm como compromisso a produção de dados e evidências e sua utilização para nortear toda a atuação, em especial a recomendação das melhores soluções para receberem doações. Como consequência, e com implicação para a metodologia de pesquisa, nenhuma verdade pode ser assumida como absoluta. A abertura para mudar de opinião, posicionamento e recomendação deve ser total à medida que novas evidências são encontradas. Mais do que isso, o ceticismo deve ser o ponto de partida, isto é, uma solução é compreendida como efetiva somente quando há dados e evidências que sustentam essa afirmação.

Diante do imenso número de soluções e organizações da sociedade civil disputando recursos, assim como da enorme complexidade dos problemas sociais no mundo e da limitação de mão de obra para avaliar profundamente todas as soluções existentes, faz-se necessário adotar algumas estratégias que tornem factível essa busca pelas melhores oportunidades de doação.

Priorização de Causas

Uma primeira estratégia comumente utilizada é a identificação de causas mais promissoras para focalização do processo de busca das soluções em um processo chamado de Priorização de Causas. Em geral, as causas são priorizadas por meio dos critérios de Importância, Tratabilidade e Negligência que dão nome ao framework em questão, ITN.

O critério de importância busca captar o valor social com a solução de determinado problema, ou seja, quantas pessoas são afetadas por ele atualmente e quão significativo é esse impacto em suas vidas. Já o critério de Tratabilidade busca captar a chance do problema ser resolvido com o aumento de recursos sendo investidos para sua solução. Em outras palavras, se o problema parece ser solucionável. Por fim, o critério de Negligência visa identificar o volume de recursos e atenção atualmente destinados à solução do problema. A hipótese por trás é que causas que se destacam nos três critérios têm chances maiores de abranger soluções com alto custo-efetividade, ou seja, gerar impacto social positivo alto por unidade monetária investida.

Ainda que a descrição acima sirva como pano de fundo comum para muitas organizações, existem diferenças na implementação. Algumas organizações acabam incluindo novos critérios, como urgência e probabilidade de existirem organizações que atuam na causa. Há divergência também na atribuição de valores aos critérios, podendo ocorrer por meio da análise de dados quantitativos ou pela percepção de membros das equipes das organizações avaliadoras. Em outros casos, os critérios são desmembrados em subcritérios antes de serem valorados.

Avaliação de organizações/soluções

Uma vez priorizadas as causas e focalizado o trabalho de busca das soluções, inicia-se o processo de avaliação das organizações/soluções. Em geral, este é um processo que funciona com um funil, com uma primeira fase de análise muito superficial de um número grande de organizações, sucedida por fases em que o número de organizações vai diminuindo e o nível das análises aumentando, até chegar a uma etapa de análise em profundidade de poucas organizações. A primeira fase ocorre prioritariamente com análise de dados públicos, como informações contidas nos sites das organizações. Já a última prevê interações bem próximas com as equipes das organizações avaliadas para compartilhamento de dados mais específicos e checagem de informações.

Importante ressaltar que este modelo traz consigo uma probabilidade de erro, ou seja, de organizações/soluções muito custo-efetivas não serem identificadas e recomendadas por não apresentarem as informações específicas de cada fase e assim não avançarem no processo, mas se mostra necessário por conta da limitação de mão de obra para avaliar todas as organizações/soluções com o mesmo nível de profundidade.

Ao longo de todo o processo de avaliação, as organizações/soluções são avaliadas, em geral, em três critérios: evidências de efetividade, custo-efetividade e abertura a novas doações. O primeiro deles procura captar evidências de que aquela solução avaliada, de fato, gera impacto positivo, ou seja, contribui para resolver o problema a que se propõe. Assume-se que existem diferentes tipos de evidências, desde avaliações de impacto até relatos das pessoas beneficiadas - e todos têm seu valor. Contudo, entende-se também que há uma espécie de ranking de robustez e qualidade desses tipos de evidência, sendo a avaliação aleatorizada preferível em relação às demais. É esperado que soluções efetivas tenham e apresentem diversos tipos de evidências sobre sua efetividade.

O custo-efetividade é estimado quantitativamente por meio da magnitude do impacto da solução e seu custo. O custo é mapeado com a organização avaliada, por meio de relatórios financeiros, por exemplo. São considerados, obviamente, todos os custos para sua implementação e, em geral, também os custos operacionais de manutenção da organização por meio de uma estimação da parte que a solução representa no todo da organização. Em relação ao impacto, o ideal é que a solução em questão (no território de atuação e com o público beneficiado) já tenha sido avaliada e seu impacto estimado por meio de avaliações aleatorizadas, por exemplo. Mas essa não é a regra. Avaliações de impacto, especialmente as aleatorizadas, não são tão comuns. Por isso, muitas vezes as evidências de impacto apresentadas das soluções de interesse são avaliações de soluções semelhantes em outros contextos, o que aponta para um problema considerável: a validade externa desses resultados. A validade externa é a capacidade do resultado ser generalizado ou atribuído em outros contextos. Rigorosamente, a validade externa de avaliações aleatorizadas é bastante baixa. O que costuma-se fazer para tentar desviar (e não resolver) deste problema é estabelecer alguns fatores de correspondência entre o contexto efetivamente avaliado e o contexto de interesse. É comum que estes fatores sejam atribuídos de maneira arbitrária de acordo com a percepção e análise da equipe avaliadora. Uma consideração importante relacionada ao cálculo de custo-efetividade tem a ver com sua precisão. Apesar de ser uma estimativa quantitativa, o objetivo não é chegar em um valor exato do custo-efetividade de cada solução avaliada, mas sim capturar diferenças significativas entre elas.

Por fim, o critério de abertura a novas doações visa identificar se o principal fator limitante para expansão da solução é financeiro, ou seja, explorar se a organização será capaz de aplicar novos recursos de forma efetiva, estratégica e tempestiva na solução. Isto é importante porque se os obstáculos para expansão forem de outra natureza, por exemplo mão de obra qualificada ou desafios territoriais, novos recursos não serão suficientes para aumentar o alcance da solução ou isso será feito com muito menos eficiência, tornando a estimação de custo-efetividade não representativa para o novo contexto da organização.

Assim como na etapa de priorização de causas, a etapa de avaliação de organizações também ocorre de maneira customizada em cada organização avaliadora. Algumas incluem critérios adicionais de acordo com interesses específicos institucionais ou de contexto como, por exemplo, transparência e cultura institucional. Há, ainda, um debate pulsante sobre a suficiência do critério de custo-efetividade, ou seja, se todos os critérios relevantes poderiam ser resumidos e considerados na única estimação do custo-efetividade. A tabela abaixo apresenta um breve resumo dos critérios utilizados por algumas organizações avaliadoras de referência:

Outro aspecto importante relacionado ao trabalho de identificar as melhores soluções para resolver os problemas sociais é a atribuição de pesos morais para comparar projetos que visam solucionar problemas de diferentes naturezas. Se o objetivo é encontrar as melhores oportunidades de doação (independente da causa), faz-se necessário colocar todos os resultados em régua única. Este é um desafio com complexidade grande, que compreende debates filosóficos e visões diferentes de mundo, e se propõe a comparar, por exemplo, uma vida humana contemporânea salva com uma uma vida humana futura salva. Além disso, é expressivo o impacto dos pesos morais nos resultados finais na identificação dos projetos recomendados. Contudo, não há um padrão-ouro para definir os pesos e é comum que isso ocorra de forma arbitrária por meio da percepção de pessoas da equipe das organizações avaliadoras. Seja qual for o caminho, é fundamental explicitar o processo de definição dos pesos morais, como um compromisso com a transparência, que deve permear todo o processo metodológico.

Ainda na etapa de avaliação das organizações e soluções, evidencia-se a importância da escuta do público beneficiado pelas soluções e a constatação de que a ausência de processos dessa natureza podem provocar resultados equivocados. Sendo as pessoas mais impactadas pelas soluções de interesse, é importante considerar no processo de avaliação alguma estratégia para dar voz a essas pessoas e conferir se na prática aquela solução mostra-se efetiva. Isto se torna ainda mais relevante quando o poder de transformação da solução avaliada é menos óbvio.

Pós recomendação

Passando para o pós identificação e recomendação das organizações, existem diferenças no nível de flexibilidade sobre uso das doações. Algumas organizações avaliadoras definem que as doações devem ser utilizadas exclusivamente na solução avaliada. Neste casos, a opção é pelo controle e segurança de que as doações necessariamente gerarão o impacto estimado. No extremo oposto, algumas organizações permitem que as doações sejam utilizadas da forma que a organização julgar mais estratégica. Nestes casos, a opção é pela autonomia e o entendimento que a organização - uma vez avaliada extensivamente - pode usufruir dessa liberdade e aplicar os recursos da forma que parecer mais estratégica visando maximizar o impacto social.

Independente da forma e como meio para garantir o bom uso do recurso, é evidenciada a importância do monitoramento das organizações apoiadas e das doações realizadas. Este é visto como um dos fatores mais relevantes para que os doadores realizem suas doações através das organizações avaliadoras.

Por fim, um desafio presente em organizações desta natureza é conseguir desviar da armadilha de ficar presa no que é mais óbvio. Por conta do viés existente na literatura de se produzir mais conhecimento sobre o que é facilmente observável, muitas soluções promissoras podem estar "escondidas". E é importante que organizações avaliadoras não se acomodem no que é mais simples de ser mensurado e tenham sempre como meta a identificação das melhores oportunidades de doação, ainda que envolva mais esforço de pesquisa.

Os pontos elencados acima foram extensivamente debatidos, selecionados e adaptados à realidade brasileira e utilizados como insumos para a atualização e aprimoramento da metodologia de pesquisa da doebem. Acreditamos que com isso, conseguiremos realizar um trabalho mais qualificado e, assim, maximizar o impacto social das doações.

Referências:

https://80000hours.org/problem-profiles/
https://animalcharityevaluators.org/charity-reviews/
https://rethinkpriorities.org/research
https://sogive.org/#methodology
https://www.effectivealtruism.org/articles/introduction-to-effective-altruism
https://www.founderspledge.com/our-methodology
https://www.givewell.org/research
https://www.givingwhatwecan.org/our-research-and-approach?locale=en
https://www.openphilanthropy.org/cause-selection/