Aplicação de Técnicas Avançadas de Processamento de Linguagem Natural: a técnica Chain of Thought e a ferramenta STORM
António Pedro Costa, Universidade de Aveiro (Portugal)
Investigador do Centro de Investigação em Didática e Tecnologia na Formação de Formadores (CIDTFF), Departamento de Educação e de Psicologia, da Universidade de Aveiro e colaborador do Laboratório de Inteligência Artificial e Ciência de Computadores (LIACC), da Faculdade de Engenharia da Universidade do Porto.
Eduardo Dutra Moresi, Universidade Católica de Brasília (Brasil)
Graduado em Engenharia Eletrónica pelo Instituto Militar de Engenharia (1989), Mestrado em Engenharia Elétrica (1994) e Doutorado em Ciência da Informação (2001), ambos pela Universidade de Brasília. Desde 1997, é professor e pesquisador da Universidade Católica de Brasília (UCB), atuando nos programas Stricto Sensu de Mestrado Profissional em Governança, Tecnologia e Inovação (PPGTI) e de Mestrado e Doutorado em Educação.
Nota prévia: o texto aqui apresentado é um exemplo de colaboração Humano-IA. As técnicas e ferramentas abordadas no texto foram exploradas para a escrita do próprio texto, servindo assim como exemplo do seu uso. Ferramentas LLMs para revisão de literatura, como Scite.ai, Consensus.app e Elicit.com, foram trianguladas para validar o conteúdo proveniente da Técnica Chain of Thought e da ferramenta STORM. Este tema foi apresentado no decorrer do ciclo de seminários “Lidar com IA Generativa”.
A técnica Chain of Thought (CoT) é uma estrutura cognitiva que orienta o processo de raciocínio de uma inteligência artificial através de etapas lógicas sequenciais, permitindo respostas mais coerentes e estruturadas. Incentiva o modelo a dividir problemas complexos em componentes mais pequenos e geríveis, melhorando assim a sua capacidade de tomada de decisão e resolução de problemas. Este método é particularmente eficaz no contexto de grandes modelos de linguagem (LLMs), onde o raciocínio estruturado imita os processos cognitivos humanos e melhora a qualidade dos resultados produzidos pela IA. STORM, ou Synthesis of Topic Outlines through Retrieval and Multi-Perspective Question Asking (storm.genie.stanford.edu), é uma ferramenta inovadora de IA desenvolvida por investigadores da Universidade de Stanford que aproveita os princípios do CoT para facilitar a curadoria de conhecimento e a geração de conteúdos.
Ao empregar LLMs, o STORM automatiza o processo de pesquisa, sintetizando informação de diversas fontes para criar artigos bem estruturados rapidamente. A ferramenta integra uma abordagem multi-perspectiva, permitindo a exploração abrangente dos tópicos e aumentando a relevância e profundidade do conteúdo gerado. A relação entre CoT e o STORM reside na capacidade do STORM em incorporar estratégias de CoT para melhorar as suas capacidades de raciocínio. À medida que o STORM processa informação, inicia um diálogo entre vários agentes de IA, simulando a metodologia CoT, dividindo os tópicos em questões distintas e orientando o modelo através de um processo de pensamento estruturado. Este alinhamento garante que o STORM não só produz resultados de alta qualidade, como também adere a uma estrutura lógica, semelhante aos padrões de raciocínio humano. Em última análise, tanto Chain of Thought como STORM representam uma evolução significativa no campo da inteligência artificial, mostrando como o raciocínio estruturado pode aumentar o desempenho dos sistemas de IA na geração de conteúdo significativo e bem suportado.
1. Chain of Thought
Chain of Thought (CoT) é uma estratégia cognitiva utilizada em inteligência artificial, particularmente em grandes modelos de linguagem (LLMs), para melhorar o raciocínio e os processos de tomada de decisão. Esta técnica envolve a estruturação do processo de pensamento de um modelo através de uma série de etapas lógicas ou “nós de pensamento”, permitindo-lhe avaliar e corrigir sistematicamente o seu raciocínio à medida que avança numa tarefa.
• Conceito e Mecanismo
A essência da CoT reside na sua capacidade de simular um fluxo cognitivo semelhante ao humano, permitindo um padrão de raciocínio sequencial e interligado. Neste contexto, a CoT ajuda a agilizar os processos de pensamento necessários para a tomada de decisões complexas, imitando a forma como os humanos organizam e processam a informação. Ao dividir problemas complexos em tarefas mais pequenas e geríveis, a CoT facilita uma abordagem passo a passo para a resolução de problemas. Por exemplo, ao calcular a área de um trapézio, um LLM que empregasse a CoT determinaria primeiro a média dos dois lados paralelos, depois encontraria a altura e, por fim, calcularia a área multiplicando estes valores.
• Principais caraterísticas
A CoT Possui as seguintes características:
- Modularidade: a CoT divide problemas em módulos, cada um representando uma etapa distinta do raciocínio. Isso não apenas melhora a precisão do modelo, mas também facilita a interpretação de erros;
- Aplicação Iterativa: cada etapa no raciocínio serve como base para a próxima, garantindo consistência e lógica na progressão até a solução final;
- Melhor Compreensão de Contexto: modelos baseados em CoT processam informações em sequência, levando em consideração o contexto de cada etapa anterior;
- Transparência e Explicabilidade: uma das maiores vantagens da CoT é a sua transparência. O método torna mais fácil auditar e entender as decisões tomadas por um modelo;
- Escalabilidade: a CoT é adaptável a diferentes domínios, desde problemas de matemática até aplicações de alta complexidade, como diagnósticos médicos.
• Aplicações em IA
A prompting CoT foi introduzida com destaque num estudo de 2022 intitulado “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”, que demonstrou a sua eficácia em estimular os LLMs a envolverem-se num pensamento analítico mais profundo antes de fornecerem uma resposta. Este método contrasta com os prompts padrão que normalmente apresentam uma pergunta seguida diretamente de uma resposta, uma vez que a CoT requer a inclusão de passos de raciocínio que levam à conclusão. Esta abordagem não só aumenta a precisão das respostas, como também fornece uma visão mais clara do processo de raciocínio do modelo, abordando assim questões de interpretabilidade e fidelidade nos resultados da IA.
• Limitações e considerações
Embora a CoT possa melhorar significativamente o raciocínio nos LLMs, existem contextos em que a sua eficácia pode refletir as limitações humanas. A investigação indica que, quando confrontado com tarefas excessivamente complexas ou multidimensionais, a CoT pode prejudicar o desempenho em vez de o ajudar, uma vez que a deliberação extensiva pode levar à sobrecarga cognitiva – tal como acontece em cenários de tomada de decisão humana. Assim, a aplicação adequada da CoT deve considerar as características da tarefa para otimizar os seus benefícios.
2. STORM
O STORM, que significa Synthesis of Topic Outlines through Retrieval and Multi-Perspective Question Asking, é uma ferramenta inovadora de IA de código aberto desenvolvida por uma equipa de investigadores da Universidade de Stanford dentro do Stanford Open Virtual Assistant Lab (OVAL). É uma metodologia que combina algoritmos de recuperação de informações (Information Retrieval – IR) com técnicas de questionamento baseadas em múltiplas perspectivas, permitindo a criação de resumos estruturados e organizados sobre tópicos complexos. Seu objetivo principal é sintetizar conteúdos a partir de grandes volumes de dados, utilizando estratégias que assegurem a inclusão de diversos pontos de vista, facilitando a construção de um entendimento mais holístico e informado.
Essa abordagem é particularmente útil em contextos em que a quantidade de dados disponíveis é vasta e não estruturada, como artigos acadêmicos, notícias ou relatórios. Ao invés de simplesmente agrupar dados semelhantes, o STORM promove a contextualização e prioriza informações essenciais, orientando a análise a partir de perguntas estratégicas.
• Visão geral do STORM
O STORM automatiza o processo de curadoria de conhecimento, permitindo aos utilizadores gerar relatórios detalhados em poucos minutos. A ferramenta exige que os utilizadores insiram um título de artigo e descrevam o propósito do artigo, que depois utiliza para criar conteúdo através de um diálogo interativo entre vários agentes de IA. Este sistema de diálogo não só facilita a geração de conteúdo, como também oferece aos utilizadores a oportunidade de observar o processo “BrainSTORMing”, aumentando a transparência de como os artigos são construídos.
• Principais caraterísticas
O STORM diferencia-se de outros grandes modelos de linguagem (LLMs) através de várias características únicas:
- Questões com múltiplas perspetivas: ao envolver diferentes chatbots na conversa, o STORM gera artigos que incorporam vários pontos de vista, enriquecendo a profundidade e a fiabilidade do conteúdo;
- Geração Rápida de Artigos: a plataforma normalmente demora apenas um ou dois minutos para produzir um artigo finalizado, tornando-a um recurso eficiente em termos de tempo para utilizadores que procuram redigir textos de alta qualidade rapidamente;
- Visualização interativa do processo: os utilizadores podem optar por visualizar as interações de brainstorming entre os agentes de IA à medida que o artigo é gerado, fornecendo insights sobre a natureza colaborativa da criação de conteúdos de IA.
• Relevância e Impacto
O STORM representa um avanço significativo na geração de “conhecimento” assistido por IA, oferecendo um vislumbre de um futuro onde artigos de alta qualidade apoiados por citações podem ser produzidos de forma rápida e eficiente. À medida que a plataforma continua a evoluir, espera-se que desempenhe um papel crucial na educação, investigação e criação de conteúdos, remodelando fundamentalmente o panorama da disseminação de informação. Ao fornecer opções para a geração autónoma de IA e colaboração Humano-IA, o STORM serve uma vasta gama de utilizadores, incluindo académicos e investigadores que podem beneficiar das suas capacidades na geração de escrita académica bem estruturada.
• Exemplo de Funcionamento
Para ilustrar como o STORM funciona, considere um estudo académico sobre “mudanças climáticas”. O processo inclui:
- Definição do Âmbito: identificar tópicos relacionados, como impacto ambiental, políticas públicas, e inovação tecnológica;
- Recuperação de Dados: usar algoritmos de IA para procurar artigos científicos, relatórios e notícias;
- Questionamento Multi-Perspectiva: formular perguntas como “Quais são os impactos regionais das mudanças climáticas?” ou “Quais as soluções tecnológicas que estão a ser exploradas globalmente?”;
- Síntese e Estruturação: Organizar as respostas num resumo abrangente, destacando conclusões principais e lacunas no conhecimento.
3. Relação entre o Chain of Thought e o STORM
A relação entre a solicitação da Chain of Thought (CoT) e a ferramenta STORM está enraizada no seu objetivo comum de melhorar as capacidades dos Grandes Modelos de Linguagem (LLMs) na geração de resultados coerentes e precisos. Ambas as abordagens aproveitam o raciocínio em várias etapas para melhorar o desempenho, embora através de mecanismos diferentes. Tanto o CoT como o STORM exemplificam uma mudança para sistemas de IA mais inteligentes, capazes de raciocinar e aprender. Embora a solicitação da CoT melhore o desempenho individual do LLM através do raciocínio estruturado, o STORM expande este conceito integrando múltiplas perspetivas e diálogo entre modelos. Esta síntese resulta na geração de conteúdo de alta qualidade que não só é mais rápida, como também mais rica em detalhes, alinhando com os objetivos da CoT de promover resultados de IA transparentes e fiáveis.
Bibliografia
Miao, J., Thongprayoon, C., Suppadungsuk, S., Garcia Valencia, O. A., & Cheungpasitporn, W. (2024). Integrating Retrieval-Augmented Generation with Large Language Models in Nephrology: Advancing Practical Applications. Medicina, 60(3), 445. https://doi.org/10.3390/medicina60030445
Miao, J., Thongprayoon, C., Suppadungsuk, S., Krisanapan, P., Radhakrishnan, Y., & Cheungpasitporn, W. (2024). Chain of Thought Utilization in Large Language Models and Application in Nephrology. Medicina, 60(1), 148. https://doi.org/10.3390/medicina60010148
Cleary, D. (2024). Chain of Thought Prompting Guide. PromptHub. https://www.prompthub.us/blog/chain-of-thought-prompting-guide
Kim, S., Joo, S., Kim, D., Jang, J., Ye, S., Shin, J., & Seo, M. (2023). The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 12685–12708. https://doi.org/10.18653/v1/2023.emnlp-main.782
Choi, W. (2023). Assessment of the capacity of ChatGPT as a self-learning tool in medical pharmacology: a study using MCQs. BMC Medical Education, 23(1), 864. https://doi.org/10.1186/s12909-023-04832-x
Ott, S., Hebenstreit, K., Liévin, V., Hother, C. E., Moradi, M., Mayrhauser, M., Praas, R., Winther, O., & Samwald, M. (2023). ThoughtSource: A central hub for large language model reasoning data. Scientific Data, 10(1), 528. https://doi.org/10.1038/s41597-023-02433-3
Chae, H., Song, Y., Ong, K., Kwon, T., Kim, M., Yu, Y., Lee, D., Kang, D., & Yeo, J. (2023). Dialogue Chain-of-Thought Distillation for Commonsense-aware Conversational Agents. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 5606–5632. https://doi.org/10.18653/v1/2023.emnlp-main.342
Wang, Y., & Hamilton, A. F. de C. (2012). Social top-down response modulation (STORM): a model of the control of mimicry in social interaction. Frontiers in Human Neuroscience, 6. https://doi.org/10.3389/fnhum.2012.00153
Publicações relacionadas
