Quando a IA tem a certeza, devemos desconfiar – Incerteza, fricção, calibração e análise qualitativa
António Pedro Costa, Faculdade de Psicologia e Ciências da Educação da Universidade do Porto (Portugal)
António Pedro Costa é investigador no Centro de Investigação e Intervenção Educativas da Faculdade de Psicologia e Ciências da Educação da Universidade do Porto. É um dos investigadores do software de apoio à análise qualitativa webQDA (webqda.net) e leciona metodologias de investigação. Coordena o Congresso Ibero-Americano de Metodologias de Investigação (ciaiq.ludomedia.org) e a World Conference on Qualitative Research (wcqr.ludomedia.org), sendo também editor principal da revista New Trends in Qualitative Research (NTQR). A sua investigação centra-se na utilização de tecnologias na investigação, com especial enfoque na Inteligência Artificial, ética, métodos mistos e curadoria de dados. Em 2023, recebeu uma menção honrosa no Prémio Investigador Universidade de Aveiro e coordenou projetos de investigação financiados em mais de 3 milhões de euros.
A 26 de outubro de 2026, num workshop da ECAI2025, em Bolonha, apresentei uma comunicação sobre a Reflexive Uncertainty Framework (RUF). A tese enuncia que, na análise qualitativa assistida por IA, a incerteza não é um defeito a eliminar, é evidência analítica, desde que a tornemos metodologicamente visível.
Três dias depois, às nove da manhã, sentei-me na plenária de Mohit Bansal. O tema: agentes de planeamento fiáveis, uncertainty-calibrated reasoning, colaboração entre agentes, geração multimodal controlável. Sala cheia, com participantes maioritariamente das ciências da computação.
Ouvi, durante uma hora, uma comunidade que fala outra língua chegar, por um caminho completamente diferente, à mesma questão com que eu me tinha deparado dias antes. Vale a pena contar onde é que os dois caminhos se encontram e, sobretudo, onde se separam.
Começo pelo que mais me surpreendeu no nosso próprio material. Os erros que me foram difíceis de detectar não foram aqueles em que o sistema hesitou. Foram aqueles em que teve a certeza.
O que a calibração quer dizer e o que não pode querer dizer
Calibrar, no sentido de Bansal, é alinhar a confiança que um sistema exprime com a probabilidade de estar certo. Um modelo bem calibrado que diz “80%” acerta quatro em cada cinco vezes. É uma propriedade desejável e mensurável, e em matemática ou em código sabemos medi-la, porque existe uma resposta certa contra a qual comparar.
Numa entrevista, não existe uma interpretação verdadeira ou falsa. É mais ou menos sustentada, mais ou menos coerente com o enquadramento teórico, mais ou menos atenta ao contexto. Transportar a calibração à letra para a investigação qualitativa seria importar uma métrica sem o objeto que ela mede.
Isso não invalida a intuição que lhe está subjacente, apenas obriga a traduzi-la. Se não podemos perguntar “Com que frequência este sistema acerta?”, podemos perguntar quando é que ele hesita, em que hesita, e o que essa hesitação nos diz sobre os dados. Foi por aí que fui.
Três momentos em que a dúvida se torna dado
O framework que apresentei, o RUF, não é um modelo autónomo; é um aprofundamento de uma etapa do modelo AbductivAI, aquela em que a máquina explicita o seu raciocínio e o investigador o pode contestar. Documenta três momentos:
- Primeiro, as saídas probabilísticas: um modelo vetorial transforma excertos e categorias em vetores, calcula proximidades semânticas e devolve distribuições de probabilidade.
- Segundo, as zonas de ambiguidade interpretativa: quando duas categorias ficam demasiado próximas, ou quando a distribuição é baixa e difusa, dispara-se uma segunda camada, em que um LLM tem de justificar discursivamente a relevância das categorias em competição.
- Terceiro, o comentário reflexivo: o momento em que o investigador escreve, por extenso, onde discorda e os motivos.
Dito assim, soa a arquitetura. Vale mais ver o que acontece num caso.
Empatia 72%, permissividade 68%
O corpus que foi usado era pequeno e deliberadamente modesto: nove composições de alunos do 5.º ano a responder a “Se eu fosse professor”. Um deles dizia, mais ou menos:
O modelo vetorial atribuiu Empatia a 72% e Permissividade a 68%. Quatro pontos percentuais entre duas leituras que não são variações uma da outra. São teorias diferentes sobre o que aquela criança pensa que um professor deve ser.
Perguntado, o LLM justificou: o gesto é empático, mas a ausência de regulação pode indicar permissividade. Ou seja, oscilou. E é exatamente esta oscilação que constitui o dado. Não porque o sistema esteja avariado, mas porque a frase é mesmo ambígua e a ambiguidade é a informação. Quem decide se aquilo é cuidado relacional ou erosão da autoridade é o investigador. Mas agora decide com a tensão à vista, em vez de a receber já resolvida por um número que não sabia estar a resolver nada.
Autoridade 78% e o que o número não viu
O caso inverso é mais interessante e é aquele que mais me interessa. Outra composição dizia que os alunos com dificuldades ficariam sentados no fundo da sala, para não incomodarem os que queriam aprender.
O sistema classificou aquilo como Autoridade, com 78% de confiança. Não está errado. Está apenas a olhar para o lado errado da frase. O que ali importa não é a autoridade, mas o peso simbólico da exclusão espacial, ou seja, uma criança de dez anos a descrever, com naturalidade, uma pedagogia da separação. Nenhuma percentagem me leva lá.
Repare-se na assimetria com o caso anterior. Quando o modelo hesitou, avisou-me. Quando teve confiança, “calou-me”. Uma classificação segura e superficial é mais perigosa do que uma classificação incerta, porque não deixa marca. É por isso que a confiança alta não pode ser o critério de paragem da análise, e é por isso que o comentário reflexivo, no framework, é obrigatório precisamente onde a divergência entre o humano e a máquina é maior.
O que ninguém classificou
Houve, porém, um resultado que me incomodou mais do que os outros dois. Nas nove composições, quase não se fala de avaliação nem de planificação das aulas. É uma ausência notável o das crianças que descrevem o ofício de ensinar, sobretudo, como gestão de comportamento, e quase nunca como trabalho de preparação ou de aferição. Essa ausência é um resultado.
O sistema chegou lá e não deu por isso. As categorias existiam e receberam pontuação: avaliação formal 22%, planificação 18%. Interrogado, o LLM limitou-se a constatar que não há referência explícita. Ou seja, os números estavam à vista; o que faltava era a operação que os lê. Para um classificador, uma pontuação baixa é indistinguível de “esta categoria não se aplica”, e para a decidir como silêncio significativo é preciso saber o que seria de esperar encontrar num texto sobre ser professor. Este horizonte de expectativa não está no modelo. Está em quem lê. Registámo-la como limitação recorrente, e é, das três coisas que encontrámos, a que menos promete resolver-se com modelos maiores. Aumentar a escala melhora a deteção do que lá está. A ausência não é um problema de deteção.
Foi também aqui que a plenária me pareceu mais próxima e mais distante ao mesmo tempo. Bansal mostrou a análise multimodal de vídeo em sala de aula para localizar episódios, cruzar falas, gestos e ocupação do espaço em horas de gravação que ninguém revê integralmente. A utilidade é evidente. Mas um silêncio de quatro segundos é um dado observável e “desconforto” é uma interpretação; a distância entre os dois percorre-se com contexto que não está no vídeo. Quanto mais eficazes forem os sistemas a identificar aquilo que está presente, maior terá de ser o cuidado com aquilo que não deixa rasto: o que não foi dito, o que não foi ensinado, quem não falou.
Há aqui uma ironia que vale a pena nomear. No número 3 do volume 22 da revista New Trends In Qualitative Research (NTQR), Nicole Brown defende que o rigor em investigação qualitativa se joga na reflexividade encarnada e não na neutralidade desencarnada, em que o corpo do investigador, a sua atenção sensorial e a sua resposta à situação fazem parte do modo como os dados se produzem. Um sistema que lê corpos em vídeo é, por definição, o oposto disto, ou seja, a leitura mais fina possível de corpos, feita sem corpo nenhum. Devolve posições, durações e trajetórias, e deixa de fora precisamente aquilo que Brown coloca no centro.
Não é por acaso que o exemplo que escapou ao classificador, as crianças sentadas no fundo da sala, é um exemplo de corpos dispostos no espaço por uma ordem institucional. Estava tudo lá, em texto, e o que faltou não foi capacidade de deteção, foi saber o que aquela disposição significa para quem a vive. Há um nome mais preciso para o que falta aqui: injustiça epistémica. O sistema não representa de forma errada a experiência daquelas crianças, não tem como representá-la.
A persuasão anda nos dois sentidos
Bansal falava de agentes que devem aceitar correções pertinentes e resistir a argumentos incorretos. Na prática de investigação, o problema é simétrico e nós somos metade dele.
Uma resposta fluente parece convincente mesmo quando a sua ligação aos dados é frágil. A prosa competente é hoje barata; a fundamentação não é. E uma pergunta que já contém a interpretação que eu prefiro, conduz o sistema à sua confirmação. “Não achas que este silêncio revela resistência?” não é uma pergunta, é um pedido de concordância. Se eu nunca discordo do sistema e o sistema nunca discorda de mim, alguém não está a trabalhar.
Isto tem tradução prática e não fica pela boa intenção. No modelo AbductivAI, que sustenta este trabalho, o desacordo é um passo do fluxo; regista-se a divergência entre o codificador humano e o agente e, sobretudo, exige-se a explicação dessa divergência; porque um escolheria a categoria X e o outro a Y. O humano decide os casos incertos; o agente funciona como segundo codificador, cuja função é oferecer uma leitura alternativa. Um desacordo que não fica escrito não aconteceu.
Acrescento uma cautela que aprendi a ter: a justificação que um modelo dá do seu próprio raciocínio é uma justificação plausível, não uma janela para o seu funcionamento. Trato-a como trato a racionalização de um participante: como um dado a analisar, não como a verdade do processo. Vale pelo que abre à discussão, não pelo que revela do mecanismo.
A objeção que tenho de aceitar
Alguém dirá que isto é entusiasmo à procura de justificação metodológica, em que estamos a adaptar a epistemologia à ferramenta em vez do contrário. A objeção é séria e não a considero resolvida. Duas fragilidades são nossas e declaradas no artigo:
- A primeira: o corpus é pequeno e específico. Nove composições, um contexto, uma língua. O que descrevemos precisa de teste em conjuntos maiores, multilingues e noutras tradições interpretativas.
- A segunda é mais incómoda. Todo o valor do framework depende de alguém sustentar de facto a posição de co-analista ao ler as justificações, escrever os comentários, discordar por escrito. Isso não se pode assumir por omissão. Na prática, a tentação é aceitar a proposta bem formulada e seguir em frente, e um dispositivo que torna a incerteza visível não serve de nada a quem não olha. Tornar a dúvida documentável é uma condição necessária.
E há aqui uma ligação que só fiz mais tarde. Tenho tendência a formular esta segunda fragilidade como uma exigência individual: o investigador que se mantém vigilante. Mas, se a postura de co-analista não se pode assumir por omissão, então também não pode ficar entregue apenas à virtude de quem analisa. Noutro trabalho, com Isabel Pinho e Cláudia Pinho, propusemos pensar a governação da IA generativa na investigação educacional em três níveis: macro, meso e micro.
A leitura que faço hoje é que um dispositivo como o RUF vive no nível micro e depende inteiramente dos outros dois. Sem exigências de relato nas revistas, sem formação metodológica nos programas doutorais, sem critérios de avaliação que reconheçam o valor de documentar a incerteza, tornar a dúvida visível continuará a ser um gesto voluntário de alguns. E o que é voluntário, sob pressão de prazos, é sempre a primeira coisa a cair.
Duas comunidades, o mesmo problema
Convém dizer que isto vai contra a corrente. Na utilização mais divulgada da IA em investigação qualitativa, o ganho procurado é de escala, e a própria NTQR publicou um bom exemplo: “The End of Traditional Focus Groups? Scaling Up Qualitative Research Quick, Yet Maintaining Depth of Data with Larger Samples”. Trata-se de uma discussão online com cem participantes, analisada em tempo real, na qual os autores registam a limitação encontrada: a de não conseguirem aprofundar as respostas. O que proponho aqui vai no sentido inverso: não usar a máquina para analisar mais depressa, mas para abrandar exatamente onde a análise costuma acelerar.
O que trouxe de Bolonha não foi uma técnica. Foi a constatação de que duas comunidades que quase não se leem — a que mede calibração em benchmarks e a que discute reflexividade desde Bourdieu — estão a convergir para a mesma pergunta a partir de lados opostos: o que deve fazer um sistema quando não sabe, e o que devemos nós fazer com isso?
Escrevo este texto a partir de Paris, onde participo na Digital Learning Week da UNESCO (2026). A convergência mantém-se, mas surge agora sob outro vocabulário. A palavra que atravessa todo o programa é fricção. Há sessões sobre cognitive friction through design, sobre o custo daquilo que é frictionless, sobre como limitar a fricção induzida pela IA, e uma delas chama-se “What AI cannot tell you: Knowledge integrity, epistemic injustice and transcultural AI ethics”. Reconheço a discussão, ainda que ali se fale sobretudo da fricção do aluno e aqui da fricção do investigador. A pergunta é a mesma: o que se perde quando se retira o atrito a um processo que dele precisa para funcionar bem?
A resposta parece-me mais ou menos óbvia: se um dia avaliarmos estas integrações, que não seja pelo tempo poupado, mas antes pela profundidade das interpretações, pela atenção às diferenças, pela preservação das vozes dos participantes e pela transparência das decisões. A responsabilidade científica e ética continua inteiramente do nosso lado, e essa é a única parte que nenhum agente, por mais bem calibrado que esteja, assumirá por nós.
Bibliografia
Bansal, M. (2025). Trustworthy Planning Agents for Collaborative Reasoning and Multimodal Generation. https://ecai2025.org/keynote-speakers/
Brown, N. (2026).
The Body in Qualitative Research: From Disembodied Knowledge to Corporeal Praxis. New Trends in Qualitative Research, 22(3), e1472. https://doi.org/10.36367/ntqr.22.3.2026.e1472
Costa, A. P., & Bem-Haja, P. (2025). Reflexive Uncertainty AI for Qualitative Data Analysis. In E. Marengo, M. Strian, & M. IPonticorvo (Eds.), Proceedings of the 2nd International Workshop on Education for Artificial Intelligence (edu4AI2025) (pp. 13–23). European Association for Artificial Intelligence (EurAI). https://ceur-ws.org/Vol-4114/7_paper.pdf
Costa, A. P., Bryda, G., Christou, P. A., & Kasperiuniene, J. (2025). AI as a Co-researcher in the Qualitative Research Workflow: Transforming Human-AI Collaboration. International Journal of Qualitative Methods, 24. https://doi.org/10.1177/16094069251383739
