Disciplina

[Plano de Desenvolvimento da Disciplina]

Blocos de Estudo

Este curso está organizado em três blocos. No primeiro bloco, o foco será nos fundamentos de recuperação de informação, que estão fortemente relacionados a PLN. O segundo bloco apresenta as bases de PLN e fundamentos estatísticos de modelos de linguagem e a progressão histórica que permite compreender os modelos modernos. O terceiro bloco apresenta o PLN no contexto de redes neurais e Transformers.

Programa do Curso

  • Apresentação do Curso
  • Ciência de dados e espectro de estruturação
  • Introdução a PLN
  • Introdução à Recuperação de Informação (RI)
    • Recuperação Booleana
    • Similaridade
    • Indexação
      • Índice invertido
    • Termos com pesos e Vector Space Model
  • Avaliação de sistemas de RI
  • Extração de Informação
    • Web Crawling and Web Scraping
  • Classificação de Documentos
  • Análise de Sentimentos
  • Processamento de Linguagem Natural (PLN)
    • Fundamentos de linguística para PLN
    • Palavras e tokens
    • Modelos n-gram
    • Embedding
  • Modelos de linguagem estatísticos
  • Distribuição Semântica
  • Redes Neurais e PLN
  • Deep Learning e PLN
    • Redes Sequenciais
    • Atenção
    • Transformers
    • Masked Language Models
  • Large Language Models
    • Definições e Aplicações
    • Mecanismos
  • Tópicos Especiais

Avaliação

A disciplina será pautada em laboratórios práticos e pequenas atividades desenvolvidas em sala (Lab), bem como um projeto executado em equipe ao longo do curso (Prj). Ambos serão executados parcialmente em sala, parcialmente extra-classe.

Referências

Jurafsky, D. & Martin, J. H. (2026). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models (3rd ed.) https://web.stanford.edu/~jurafsky/slp3/

Manning, C. D., Raghavan, P., & Schütze, H. (2009). Introduction to Information Retrieval. Cambridge University Press. https://nlp.stanford.edu/IR-book/

Manning, C. D., & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press. https://mitpress.mit.edu/9780262133609/foundations-of-statistical-natural-language-processing/

Raschka, S. (2024). Build a Large Language Model (From Scratch). Manning Publications. https://www.manning.com/books/build-a-large-language-model-from-scratch