Questões de Concurso

Igor, analista de dados da CVM, escreveu e rodou o código a seguir.

from nltk.corpus import stopwords from nltk.tokenize import word_tokenize
texto = "Eu sou um analista de dados da CVM!"
stop_words = set(stopwords.words('portuguese')) tokens = word_tokenize(texto)
tokens_processados = [w for w in tokens if not w in stop_words]
print(tokens_processados)

Considerando que o código foi executado sem erros e sabendo que Igor está usando Python 3.10.12 e NLTK 3.8.1, a saída do terminal foi:

Considere o código python a seguir.

import spacy

nlp = spacy.load("pt_core_news_lg")

doc = nlp("O rato roeu a roupa do rei de Roma")

print(doc[2].pos_, doc[2].dep_)

Os valores exibidos pela última linha são:

Um dos principais fatores que tornam viável a aplicação de modelos grandes de linguagem (LLMs) é o controle do espaço de probabilidade de tokens através da redução de dimensionalidade do vocabulário, sem perda da capacidade de reconstruir qualquer token válido da linguagem sendo modelada.

Considerando esse objetivo, dois algoritmos que podem ser utilizados para esse fim são:

Considere-se a aplicação de um modelo grande de linguagem (LLM) com 3 bilhões de parâmetros, distribuído em formato não quantizado, meia-precisão.

A quantidade mínima de memória necessária para carregar os pesos do modelo para inferência (sem gradientes), considerando apenas o espaço ocupado pelos pesos, é:

Considerando o texto 1, a representação das palavras que será utilizada por Aline é chamada de: