0
2-7
9.9
7
.19
29
s0
Lo
pe
óe
s
eG
iqu
He
nr
Lu
ís
MATERIAL
COMPLEMENTAR
Deep Learning III
Professor Jeronymo Marcondes Pinto
SUGESTÃO DE LEITURA
0
Material disponível na internet:
Steorts, R.C. Module 7: Introduction to Gibbs Sampling. Link
•
Hinton, G. 2010. A Practical Guide to Training Restricted Boltzmann
9.9
7
2-7
•
Machines. Link
•
.19
Fischer, A.; Igel, C. Training Restricted Boltzmann Machines: An
•
Lo
pe
s0
1. Deep Learning Não Supervisionado
29
Introduction⋆. Link
Definição e Diferenças em Relação ao Aprendizado Supervisionado :
o
No aprendizado supervisionado, os modelos aprendem a partir de
óe
s
dados rotulados (ou seja, para cada entrada, há uma saída
eG
esperada). No aprendizado não supervisionado, não há rótulos, e o
modelo deve identificar padrões por conta própria.
Esse tipo de aprendizado é útil em tarefas como agrupamento
iqu
o
redução
de
dimensionalidade
e
detecção
de
He
nr
(clustering),
anomalias, onde queremos que o modelo encontre estruturas ou
Objetivo no Deep Learning Não Supervisionado:
Lu
•
ís
padrões ocultos nos dados sem supervisão direta.
o
Extrair informações relevantes dos dados, como padrões de
relacionamento, estruturas latentes e representações compactas,
para facilitar o processamento e a análise posterior.
o
Esse método é amplamente aplicado em áreas como análise de
redes sociais, compressão de imagens, reconhecimento de
2-7
0
padrões e sistemas de recomendação.
Visão Geral e História:
o
A Máquina de Boltzmann é uma rede neural estocástica baseada
.19
•
9.9
7
2. Máquinas de Boltzmann (Boltzmann Machines - BM)
em física estatística. Foi inspirada pela forma como o sistema
29
nervoso humano trabalha e otimiza a distribuição de energia dos
Lo
pe
•
s0
neurônios.
Estrutura e Objetivo:
o
A Máquina de Boltzmann tradicionalmente consiste em uma única
Seu principal objetivo é aprender a distribuição de probabilidade
eG
o
óe
s
camada de neurônios visíveis e uma camada de neurônios ocultos.
dos dados de entrada, ajustando os pesos para que a rede consiga
iqu
reconstruir as entradas com base nas saídas dos neurônios ocultos.
o
He
nr
Máquinas Restritas de Boltzmann (RBM):
Diferença de Estrutura: As RBMs são uma versão simplificada das
ís
Máquinas de Boltzmann, onde não existem conexões entre
neurônios da mesma camada (restrição), o que facilita o
Lu
•
treinamento e torna o modelo mais eficiente.
o
Processo de Treinamento - Divergência Contrastiva:
▪
As RBMs são treinadas para minimizar a diferença entre as
distribuições de probabilidade dos dados reais e das
reconstruções. Para isso, é usada a técnica de Divergência
Contrastiva (Contrastive Divergence - CD), que calcula a
divergência
de
Kullback-Leibler
entre
a
distribuição
observada e a distribuição esperada após uma série de
2-7
▪
0
iterações.
Esse processo inclui duas fases: uma fase positiva (em que o
9.9
7
modelo é ajustado para se aproximar das entradas) e uma
fase negativa (em que o modelo tenta "desaprender" as
Redução de Dimensionalidade: As RBMs podem aprender
representações
s0
▪
29
Aplicações:
comprimidas
Lo
pe
o
.19
discrepâncias entre os dados reais e gerados).
dos
dados,
simplificando
problemas de alta dimensionalidade. Isso é útil, por exemplo,
em compressão de imagens.
Sistemas de Recomendação: A RBM pode ser usada para
óe
s
▪
eG
recomendar produtos com base em similaridades de perfis de
usuário, como no caso da Netflix, onde a rede aprende a
He
nr
iqu
prever preferências de conteúdo.
Descrição:
Lu
•
ís
3. Redes de Crença Profunda (Deep Belief Networks - DBN)
o
As DBNs são compostas por várias RBMs empilhadas, formando
uma
rede
profunda
que
representações dos dados.
aprende
hierarquicamente
as
o
Cada RBM aprende uma camada de características a partir da
camada anterior, permitindo que a DBN capture informações cada
vez mais complexas à medida que a profundidade aumenta.
o
0
Funcionamento:
2-7
•
A DBN é treinada camada por camada, em um processo chamado
9.9
7
de pré-treinamento não supervisionado. Após o pré-treinamento,
a rede pode ser ajustada por meio de aprendizado supervisionado
o
As
DBNs
são
29
Aplicações:
especialmente
eficientes
s0
•
.19
(se houver rótulos) para refinar os pesos em tarefas específicas.
em
tarefas
de
Lo
pe
reconhecimento de padrões em dados complexos e de alta
dimensionalidade, como reconhecimento facial e processamento
de linguagem natural, onde camadas profundas capturam relações
Objetivo e Estrutura:
o
Os autoencoders são redes neurais projetadas para comprimir a
He
nr
•
iqu
4. Autoencoders
eG
óe
s
complexas entre os dados.
entrada em uma representação de menor dimensão (codificação) e
ís
depois reconstruí-la (decodificação). Eles aprendem a copiar a
Lu
entrada para a saída, usando uma camada interna de codificação
que captura as características principais da entrada.
•
Arquitetura:
o
Camadas de Codificação e Decodificação: A camada de
codificação reduz a dimensionalidade, comprimindo os dados,
enquanto a camada de decodificação reconstrói os dados a partir
dessa representação comprimida.
Tipos de Autoencoders:
Deep Autoencoder: Com várias camadas de codificação e
0
o
2-7
•
decodificação, permitindo o aprendizado de características mais
9.9
7
complexas.
Autoencoder Esparso: Inclui um termo de regularização na função
o
.19
de custo que impõe esparsidade, ou seja, ativa apenas uma
pequena porção dos neurônios, resultando em uma representação
29
mais eficiente.
Denoising Autoencoder: A rede é treinada para reconstruir a
s0
o
robustez contra ruídos.
Lo
pe
entrada original a partir de uma versão ruidosa, melhorando a
Autoencoder Contrativo: Inclui uma penalidade na função de
o
óe
s
custo para incentivar a rede a ser menos sensível a pequenas
Aplicações:
Compressão de dados, detecção de anomalias, visualização de
He
nr
•
iqu
robustez.
eG
variações nas entradas, sendo eficaz em aplicações que exigem
o
dados em espaços latentes, e geração de dados sintéticos em
Lu
ís
domínios como imagens e linguagem.
5. Redes Adversárias Generativas (Generative Adversarial Networks GAN)
•
Introdução e Conceito:
o
As GANs introduzem uma abordagem inovadora ao aprendizado
profundo, onde duas redes (gerador e discriminador) competem
Funcionamento Interno:
o
9.9
7
•
2-7
capacidades do gerador em criar dados realistas.
0
entre si. Essa competição leva a um aprimoramento constante das
Gerador (Generator): Gera dados sintéticos a partir de uma
.19
entrada aleatória (por exemplo, ruído) com o objetivo de enganar o
discriminador. A cada iteração, o gerador tenta criar exemplos que
Discriminador (Discriminator): Recebe dados reais e gerados e
s0
o
29
se aproximem mais dos dados reais.
Lo
pe
tenta classificá-los como "reais" ou "falsos". O discriminador
devolve uma probabilidade para cada imagem, onde 1 indica alta
confiança de que a imagem é real e 0 indica alta confiança de que
eG
Processo de Treinamento - Minimax:
o
As GANs utilizam um processo de treinamento baseado em uma
iqu
•
óe
s
é falsa.
função de perda minimax. O objetivo é maximizar a precisão do
He
nr
discriminador em classificar imagens e ao mesmo tempo minimizar
a capacidade do gerador de enganar o discriminador.
Backpropagation é usado para ajustar tanto o gerador quanto o
ís
o
Lu
discriminador, onde o gerador melhora constantemente a qualidade
das imagens sintéticas e o discriminador aprimora sua habilidade
de detectar falsificações.
•
Aplicações:
o
Geração de Imagens Realistas: As GANs são amplamente
usadas para criar imagens fotorrealistas em áreas como design,
moda e entretenimento.
o
Aprimoramento
e
Super-Resolução
de
Imagens:
Em
2-7
0
processamento de imagens, as GANs são usadas para aumentar a
estavam presentes nos dados originais.
o
9.9
7
resolução de imagens de baixa qualidade, criando detalhes que não
Criação de Dados Sintéticos para Treinamento: Em cenários
treinar
modelos
de
Lu
ís
He
nr
iqu
eG
óe
s
Lo
pe
s0
reconhecimento de padrões.
aprendizado
29
para
.19
com escassez de dados, as GANs podem gerar dados adicionais
de
máquina
em