Considerando que João deva apresentar a solução com o menor ...

Utilizar um modelo pré-treinado com uma base de dados similar ao caso de uso de João e aplicar técnicas de aprendizado por transferência.

Utilizar apenas a arquitetura de um modelo pré-treinado com uma base de dados similar ao caso de João, ou seja, realizar o treinamento do modelo sem aproveitar os parâmetros pré-treinados.

Não realizar o treinamento de um novo modelo, mas apenas reutilizar um modelo pré-treinado em qualquer outra base de dados não necessariamente similar ao problema de João. Dessa forma, não haverá nenhum tipo de custo.

Realizar o treinamento de um modelo sem o aproveitamento de nenhum outro modelo pré-treinado, pois o custo para retreinar um modelo pré-treinado é inviável.

Independentemente da solução adotada por João, o custo para treinar redes neurais é sempre alto.