Em processamento de linguagem natural, o modelo Skip-Gram é...

Gabarito: Alternativa B

A questão aborda o tema de processamento de linguagem natural (PLN), especificamente sobre a técnica de treinamento de word embeddings, utilizando o modelo Skip-Gram. Entender essa questão requer familiaridade com as principais técnicas de PLN para gerar representações de palavras, como Skip-Gram e Continuous Bag of Words (CBOW).

Vamos analisar cada alternativa:

Alternativa B - correta: O modelo Skip-Gram se destaca por prever palavras de contexto a partir de uma palavra-alvo. Este modelo é treinado para, dada uma palavra central, prever as palavras que aparecem em seu contexto (ao redor dela) em uma janela de tamanho definido. Por exemplo, se a palavra-alvo é "gato" e a janela de contexto é de 2 palavras, ele pode prever palavras como "o", "está", "no", "sofá".

Alternativa A - incorreta: Esta alternativa descreve o funcionamento do modelo CBOW, que é o oposto do Skip-Gram. O CBOW utiliza palavras de contexto adjacentes para prever uma palavra-alvo.

Alternativa C - incorreta: Embora o treinamento de cada palavra em uma janela de contexto separadamente possa parecer uma característica útil, não é uma descrição precisa do Skip-Gram ou CBOW. Ambos os modelos tratam o contexto de forma conjunta, não separadamente.

Alternativa D - incorreta: Gerar embeddings baseados em dependências sintáticas refere-se a técnicas mais avançadas de PLN, como modelos que consideram a estrutura gramatical das frases. Skip-Gram e CBOW focam em coocorrências de palavras dentro de janelas de contexto, não diretamente em dependências sintáticas.

Alternativa E - incorreta: A abordagem de Bag-of-Words (BoW) é um método tradicional de representação de textos que ignora a ordem das palavras e suas dependências. Tanto o Skip-Gram quanto o CBOW geram embeddings de palavras considerando a ordem e a proximidade das palavras no texto, ao contrário do BoW.

Assim, a alternativa B é a correta, pois descreve precisamente a característica distintiva do modelo Skip-Gram no treinamento de word embeddings.

A banca considerou a alternativa B como a resposta correta. A alternativa B afirma que o modelo Skip-Gram foca em prever palavras de contexto a partir de uma palavra-alvo.

Embora essa seja uma característica do Skip-Gram, a principal diferença do Skip-Gram em relação ao CBOW reside no foco em prever a palavra-alvo a partir do contexto.

Para entender melhor a diferença, vamos analisar as duas alternativas em detalhes:

A) Utilizar contextos adjacentes para prever uma palavra-alvo:

• Essa é a característica principal do Skip-Gram.
• O modelo utiliza janelas de contexto para prever a probabilidade de uma palavra-alvo aparecer em um texto.
• Exemplo: Na frase "O menino comeu a maçã", o Skip-Gram usaria as palavras "O", "comeu" e "a" para prever a palavra "menino".

B) Focar em prever palavras de contexto a partir de uma palavra-alvo:

• Essa é uma característica secundária do Skip-Gram.
• O modelo também pode ser usado para prever as palavras que co-ocorrem com uma palavra-alvo.
• Exemplo: Na frase "O menino comeu a maçã", o Skip-Gram poderia ser usado para prever as palavras que co-ocorrem com "menino", como "comeu", "a", "mesa", "prato", etc.

Ambas as alternativas estão relacionadas ao Skip-Gram, mas a alternativa A é mais específica e destaca a principal diferença em relação ao CBOW.

Ao analisar as justificativas da banca para considerar a alternativa B como a resposta correta, seria possível entender melhor o motivo da escolha.

Algumas possibilidades:

• A banca pode ter interpretado a pergunta como "qual é a principal função do Skip-Gram?". Nesse caso, a alternativa B seria a mais adequada.
• A banca pode ter considerado que a alternativa A é muito genérica e não destaca a característica principal do Skip-Gram.
• A banca pode ter cometido um erro na avaliação da questão.

1. Característica principal do Skip-Gram:

• Prever palavra-alvo a partir do contexto:
• Utilização de janelas de contexto:
• Objetivo do modelo:

2. Diferença do CBOW:

• Prever contexto a partir da palavra-alvo:

3. Vantagens do Skip-Gram:

• Eficiência:
• Precisão para palavras raras:

4. Desvantagens do Skip-Gram:

• Sensibilidade à ordem das palavras:
• Dificuldade de treinamento:

5. Exemplos:

• Aplicação do Skip-Gram na frase "O menino comeu a maçã":
• Associação de palavras:

CBOW é uma rede neural que prediz a palavra dado um contexto, sendo o contexto interpretado como uma sentença. O modelo Skip-gram desempenha uma função inversa do apresentado em CBOW, ou seja, dado uma palavra prediz as palavras mais prováveis ao contexto. 

A - CBOW

B - SKIP-GRAM

Gabarito B