Luiz, médico dermatologista, criou um modelo de IA para auxi...
Luiz, médico dermatologista, criou um modelo de IA para auxiliar na detecção de câncer de pele com visão computacional. Como um modelo de classificação binária, ele terá 4 possíveis saídas: verdadeiro positivo (paciente com câncer, detectado corretamente), verdadeiro negativo (paciente sem câncer, detectado corretamente), falso positivo (paciente sem câncer, detectado incorretamente) e falso negativo (paciente com câncer, não detectado pelo modelo).
Levando em consideração que um modelo de IA seria utilizado como uma ferramenta de auxílio ao diagnóstico de câncer de pele, os erros de “tipo 1” (falso positivo) seriam tolerados, já que haveria uma análise posterior realizada por um médico especialista. No entanto, os erros “tipo 2” (falso negativo) seriam os mais críticos, uma vez que podem resultar em um diagnóstico tardio ou falho, comprometendo a saúde do paciente. Tomando o cenário como base, julgue os itens a seguir:
I. A métrica mais importante nesse caso seria a Sensibilidade (Recall ou Revocação);
II. A métrica mais importante nesse caso seria a Precisão (Precision);
III. Ao ajustar o modelo para minimizar erros de "tipo 2", geralmente os erros de "tipo 1" tendem a aumentar;
IV. Luiz deveria submeter seu modelo a um treinamento mais longo, independentemente do overfitting.
Estão corretas as afirmativas
Gabarito comentado
Confira o gabarito comentado por um dos nossos professores
Clique para visualizar este gabarito
Visualize o gabarito desta questão clicando no botão abaixo
Comentários
Veja os comentários dos nossos alunos
A) I e III, apenas.
I. A métrica mais importante nesse caso seria a Sensibilidade (Recall ou Revocação);
O recall pode ser usada em uma situação em que os Falsos Negativos são considerados mais prejudiciais que os Falsos Positivos. Por exemplo, o modelo deve de qualquer maneira encontrar todos os pacientes doentes, mesmo que classifique alguns saudáveis como doentes (situação de Falso Positivo) no processo. Ou seja, o modelo deve ter alto recall, pois classificar pacientes doentes como saudáveis pode ser uma tragédia.
III. Ao ajustar o modelo para minimizar erros de "tipo 2", geralmente os erros de "tipo 1" tendem a aumentar;
Ao ajustar o modelo para minimizar erros "tipo 2" (falso negativo), geralmente os erros "tipo 1" (falso positivo) tendem a aumentar. Isso ocorre porque, ao estabelecer um limite mais baixo para classificar uma lesão como potencialmente cancerígena, mais casos serão considerados suspeitos e, portanto, mais falsos positivos podem ocorrer. É preciso encontrar um equilíbrio entre os dois tipos de erro, dependendo das necessidades do contexto.
LETRA A
Complementando o excelente comentário da Maria Fernanda, podemos ver que a I e III são complementares. Quando eu aumento o número de Faltos Positivos, eu diminuo a Precisão e aumento a Sensibilidade.
Pensamos que existam 100 pacientes doentes e o modelo classificou apenas 20 como doentes e acertou todos os 20. Veja que a precisão foi alta, pois todos os classificados estavam doentes, porém o modelo deixou passar 80 pessoas doentes.
IV - Não é independente, é dependendo, pois pode haver tanto overfitting, quanto underfitting e o algoritmo precisará ser ajustado.
Clique para visualizar este comentário
Visualize os comentários desta questão clicando no botão abaixo
Conheça nossos planos