CE-064: Introdução ao Machine Learning

CE-064: Introdução ao Machine Learning

Atenção: O exame será dia 11/07 às 19h na sala CT04. Favor confirmar a presença até dia 09/07.

Detalhes da oferta da disciplina

Avaliações

Instruções para o trabalho final

Tópicos para o trabalho prático

Grupos para o trabalho prático

Aulas

Assunto Teoria Prática Sabatina Material complementar
Introdução Aula 1 Statistical Modeling: The Two Cultures
Regressão Linear - Revisão Aula 2 Prática 2 Exemplo 2 When do you use machine learning vs. statistical regression?
Gradiente descendente Aula 3 Prática 3 Exemplo 3 Stochastic Gradient Descent Tricks
Regularização Aula 4 Prática 4 Exemplo 4 Regression shrinkage and selection via the lasso
Métodos de reamostragem Aula 5 Prática 5 Exemplo 5 Cross-validation
Classificação Aula 6 Prática 6 Exemplo 6 Regularized Discriminant Analysis
Support Vector Machines Aula 7 Prática 7 Exemplo 7 Learning with kernels
Métodos baseados em árvores Aula 8 Prática 8 Exemplo 8 An Empirical Comparison of Supervised Learning Algorithms
Manipulação de textos e imagens Aula 9 Prática 9 Exemplo 9 Dissertacao Larissa Sayuri
Aprendizado não supervisionado Aula 10 Prática 10 Exemplo 10 Brief Review of Regression-Based and Machine Learning Methods

Notas

Programa da disciplina

  1. Introdução:
    • Aprendizado supervisionado e não supervisionado;
    • Função custo;
    • Revisão de Álgebra matricial.
  2. Regressão Linear:
    • Regressão linear simples e múltipla;
    • Estimação dos parâmetros;
    • Preditor quantitativo e qualitativo;
    • Interpretação.
  3. Gradiente descendente:
    • Batch;
    • Stochastic;
    • Boosting.
  4. Seleção de modelos e regularização:
    • Seleção por Forward e Backward;
    • Estimação do erro do teste utilizando Mallow’s Cp, AIC, BIC, R quadrado ajustado;
    • Regressão Ridge;
    • Regressão Lasso;
    • Horseshoe;
    • Elastic net.
  5. Métodos de reamostragem:
    • Estimando o erro de previsão;
    • Validação cruzada;
    • Bootstrap.
  6. Classificação:
    • Regressão logística;
    • Análise de discriminante linear;
    • Análise de discriminante quadrática;
    • Naive Bayes.
  7. Support Vector Machines:
    • Maximal Margin Classifier;
    • Support vector Classifier;
    • Kernels.
  8. Métodos baseados em árvores:
    • Árvores de decisão;
    • Randon Forest;
    • Bootstrap Aggregation (Bagging);
    • Boosting.
  9. Aprendizado não supervisionado:
    • Análise de componentes principais;
    • K-means Clustering;
    • Hierarchical Clustering.
  10. Manipulação de textos e imagens.

Referências Bibliográficas

* James, G., Witten, D., Hastie, T. e Tibshirani, An Introduction to Statistical Learning, 2013 (livro-texto), Unofficial Solutions;

* Hastie, T., Tibshirani, R. e Friedman, J., The Elements of Statistical Learning, 2009;

* Tan, Steinbach, and Kumar, Introduction to Data Mining, Addison-Wesley, 2005;

* Bishop, Pattern Recognition and Machine Learning, 2006;

* Ripley, Pattern Recognition and Neural Networks, 1996.

Referência complementar

* Scholkopf and Smola, Learning with Kernels, 2002;

* Mardia, Kent, and Bibby, Multivariate Analysis, 1979;

* Duda, Hart, and Stork, Pattern Classification, 2nd Ed., 2002.

Data Repositories

* Kaggle

* UCI Machine Learning Repository

* KDD Nugets

* TwitteR

* rfigshare

* Open Gov. Data: dados.gov.br, www.data.gov, www.data.gov.uk;

Referências sobre como fazer um seminário científico

* How to give a scientific presentation

* Advice on giving good talks and posters

* Data Mining Algorithms in R

* A detailed introduction to Social Network Analysis with package sna