Ciência com Inteligência Artificial: reflexão sobre um futuro muito presente

Avaliar artigos, projetos, relatórios, entre outros, é uma das atividades mais relevantes no mundo da ciência. A avaliação funciona como aprovação pelos pares, permite melhorar, alterar, aprofundar os projetos e relatórios de investigação. A ciência evolui com esta dinâmica e interações, que necessitam de ser constantes. Haverá outra forma de fazer ciência? Por outro lado, o enorme número de publicações científicas e projetos internacionais exige disponibilidade da comunidade científica, muitas vezes traduzida em tempo e trabalho extra por parte de docentes e investigadores. Durante alguns anos, a ação COST New Frontiers of Peer Review discutiu várias dimensões da avaliação de artigos. A inteligência artificial era explorada através de um simulador que permitia medir a carga cognitiva (mental workload) dos avaliadores durante o processo de avaliação de artigos. Contudo, não se perspetivava que o avaliador pudesse ser substituído por uma máquina. Estaremos próximos de poder abdicar de avaliadores ou iremos iniciar um processo híbrido, em que, por exemplo, na lista de membros da Comissão Científica de um evento surgirá o Avaliador 1, Avaliador 2 e o ChatGPT?

ChatGPT (Chat Generative Pre-training Transformer) é um chatbot com inteligência artificial, desenvolvido pela OpenAI, especializado em diálogo (openai.com/blog/chatgpt). O foco deste texto é instigar a reflexão em torno do potencial impacto da Inteligência Artificial, mais concretamente do ChatGPT, no trabalho científico, nomeadamente na avaliação de artigos. Para isso, partilho um resumo do qual sou coautor. Este resumo foi submetido à 7th World Conference on Qualitative Research (wcqr.ludomedia.org) e alvo de três avaliações (double-blind review). Apresenta-se aqui uma quarta avaliação, realizada pelo ChatGPT.

What does a “CAQDAS expect” from a user when building the Methodological Design?
Introduction: The tools, like the Computer-Assisted Qualitative Data Analysis Software (CAQDAS), this impact research work, particular in certain areas, like Qualitative Research in Social Sciences. These tools allow users to either obtain analysis services or even go deeper into the methodologies themselves, making sense of the features shown and their outcomes. Technological tools to support the analysis of qualitative data are increasing exponentially. Additionally, these tools allow us to organise and edit sources, improve coding (inductive and deductive) and explore data triangulation in a previously impossible way. CAQDAS can be defined as computer tools that help researchers develop and improve the quality of qualitative studies. Goals and Methods: The study will be conducted by a Living Systematic Review (Tailored PRISMA 2020 protocol). The literature search was conducted in Scopus and Web of Science databases. We use the keywords “QDAS” OR “CAQDAS” and the most relevant CAQDAS (“ATLAS.ti” OR “Dedoose” OR “MAXQDA” OR “Nvivo” OR “QDA Miner” OR “webQDA”). We limited the search to the 2022 year, only papers published in the Social Sciences area and articles that use “Qualitative Research” keywords. With this, we analyse the methodological design of papers to understand the influence of a CAQDAS in the procedures and processes of qualitative studies. Results: The results indicate that improving the methodological design of the articles analysed is necessary, giving greater focus to the procedures followed. The Living Systematic Review and Content Analysis technique permit monitoring of the features of CAQDAS in a double sense: to seek to provide features to satisfy users’ needs but also to look for what a CAQDAS (developers) expect from a user.

A primeira questão realizada ao ChatGPT foi: o que melhoraria no resumo?

ChatGPT: “Eu sugeriria que o resumo incluísse mais informações sobre os resultados específicos da revisão sistemática e suas implicações para a pesquisa em ciências sociais. Além disso, incluir um breve contexto sobre CAQDAS e sua importância na análise de dados qualitativos poderia ser útil para leitores que não têm familiaridade com o assunto.”

Algo mais?

ChatGPT: “Sim, também sugiro que sejam adicionados detalhes sobre os critérios de inclusão e exclusão utilizados na busca de literatura e a amostra final de artigos incluídos na revisão sistemática. Isso permitiria aos leitores avaliar a generalizabilidade (sic) dos resultados e seus limites. Além disso, seria útil mencionar qualquer viés ou limitações identificados na revisão e sua potencial influência nos resultados.”

Qual a principal limitação?

ChatGPT: “A principal limitação mencionada no resumo é o fato de que a revisão sistemática foi limitada a artigos publicados em 2022 e na área de ciências sociais que usam as palavras-chave relacionadas a CAQDAS. Isso pode restringir a amostra de estudos incluídos e afetar a generalizabilidade (sic) dos resultados da revisão. Além disso, a limitação em termos de tempo pode significar que algumas pesquisas relevantes e recentes não foram incluídas na revisão.”

Mais alguma?

ChatGPT: “Além disso, incluir uma avaliação crítica dos métodos utilizados nas pesquisas incluídas na revisão sistemática e sua consistência com as boas práticas em pesquisa qualitativa poderia ser valioso. Isso permitiria aos leitores avaliar a qualidade dos estudos incluídos e, consequentemente, a robustez dos resultados da revisão. Além disso, comparar os resultados da revisão com outros estudos relevantes na área poderia fornecer mais perspectiva e contexto sobre sua relevância e importância.”

Recomenda alguma literatura?

ChatGPT:  Recomendo que o autor considere ler os seguintes artigos para melhorar o resumo:

1. De Leeuw, E. D. (2008). “Handbook of Qualitative Research in Education.” San Diego, CA: Academic Press.
2. Flick, U. (2018). “An Introduction to Qualitative Research.” Sage Publications Ltd.
3. Creswell, J. W. (2014). “Research design: qualitative, quantitative, and mixed methods approaches.” Sage publications.

Estes livros apresentam uma introdução aprofundada à pesquisa qualitativa e incluem informações sobre o uso de software para análise de dados qualitativos, incluindo a importância de ter um design metodológico sólido e a avaliação crítica da qualidade dos estudos incluídos na revisão sistemática.”

Escreveu sobre generalizar, mas sendo um estudo qualitativo é relevante?

ChatGPT: “Não é comum generalizar resultados de estudos qualitativos para a população em geral, pois o objetivo da pesquisa qualitativa é compreender a complexidade e a diversidade das perspectivas e experiências individuais. Em vez de generalizar, a pesquisa qualitativa busca capturar a riqueza e a profundidade dos dados, geralmente através de entrevistas detalhadas, observações e outros métodos de coleta de dados subjetivos. O objetivo é descrever e compreender as perspectivas e experiências dos indivíduos envolvidos na pesquisa, em vez de aplicar resultados gerais a uma população mais ampla.”

Então, para melhorar este resumo não tenho de me preocupar com uma amostra demasiado extensa?

ChatGPT: “Correto, para este resumo em particular, não é necessário se preocupar com uma amostra extensa, pois o objetivo do estudo é conduzir uma revisão sistemática da literatura para entender a influência do software de análise de dados qualitativos (CAQDAS) nas metodologias de pesquisa qualitativa nas ciências sociais. A amostra da revisão sistemática será limitada aos artigos publicados na área de ciências sociais e que utilizam as palavras-chave “Qualitative Research”. A revisão sistemática permitirá monitorar as características do CAQDAS e analisar o design metodológico dos artigos para entender a influência do software nas pesquisas qualitativas.”

Para justificar esta avaliação da sua parte, preciso de algumas referências bibliográficas sobre o ChatGPT.

ChatGPT: “O modelo de linguagem ChatGPT foi treinado pela OpenAI, uma organização de inteligência artificial com base em pesquisa. Não há uma única referência bibliográfica sobre ChatGPT, mas há vários artigos e estudos publicados sobre modelos de linguagem baseados em Transformer, que são a arquitetura subjacente ao ChatGPT. Alguns exemplos incluem:

1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, Ł., Polosukhin, I. (2017). Attention is All You Need. In Advances in Neural Information Processing Systems (pp. 5998-6008).
2. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

Estes artigos fornecem uma visão geral da arquitetura de Transformer e como ela é usada para realizar tarefas de processamento de linguagem natural. Além disso, há vários estudos que avaliam a eficácia do ChatGPT e outros modelos de linguagem baseados em Transformer na resolução de tarefas específicas, como resposta a perguntas, geração de texto, entre outros.”

Mantenho a sua avaliação como anónima?

ChatGPT: “Como sou uma inteligência artificial criada pela OpenAI, não tenho identidade própria ou preferências pessoais. Portanto, a minha avaliação é sempre anônima.”

Vou propô-lo(a) para ser membro da Comissão Científica da World Conference on Qualitative Research

ChatGPT: “Como sou uma inteligência artificial, não posso ser membro da Comissão Científica da World Conference on Qualitative Research. No entanto, posso fornecer informações e responder a perguntas sobre pesquisa qualitativa e outros assuntos relacionados.”

Então, eticamente, como posso salvaguardar a avaliação que acabou de fazer a este resumo?

ChatGPT: “Para salvaguardar a minha avaliação, é importante que você a cite corretamente como “avaliação realizada por ChatGPT, modelo de linguagem treinado por OpenAI” e que mencione claramente que se trata de uma avaliação realizada por um modelo de linguagem, e não por um especialista humano. Além disso, é importante que você respeite as políticas de privacidade e direitos autorais da OpenAI.”

Este diálogo poderia continuar durante horas. Não se deseja, com este texto, tirar conclusões, emitir considerações ou fazer qualquer “julgamento”, pretende-se que o leitor reflita. Há alguns anos, as editoras Springer e IEEE tiveram de remover 120 artigos “científicos” que foram gerados pelo Lero Lero (lerolero.com). Para quem não conhece, o Lero Lero é um gerador de conteúdo com inteligência artificial. O ChatGPT foi disponibilizado no final de 2022. Parece que ainda não estamos preparados para lidar com este tipo de “caixa negra”, em que a maioria dos resultados não são preditivos. Paralelamente, estes tipos de algoritmos interferem com a nossa zona de conforto e obrigam-nos a pensar “fora da caixa”. Os próximos meses prometem ser bastante estimulantes. Para terminar, será que este texto não foi gerado pelo ChatGPT?

Publicações Relacionadas