Acerca de Big Data, business intelligence e machine learning...

Gabarito: E - Errado

O Hadoop é uma plataforma de software em código aberto para computação distribuída de grandes conjuntos de dados (Big Data) através do modelo de programação MapReduce. Embora o Hadoop seja acompanhado por uma série de bibliotecas e ferramentas que facilitam o seu uso, como o Hadoop Common (que fornece os serviços e utilitários comuns) e o Hadoop Distributed File System (HDFS), que permite o armazenamento distribuído e o processamento de grandes conjuntos de dados, a afirmação incorre em um erro ao sugerir que o Hadoop MapReduce, especificamente, é utilizado para disponibilizar integrações de interface para outros sistemas.

O MapReduce é um paradigma de programação eficiente para o processamento de grandes volumes de dados, mas não é projetado especificamente para integração de sistemas ou para manipulação e serialização de arquivos de uma maneira que se integre diretamente com outros sistemas. Ferramentas como o Apache Flume ou o Apache Sqoop são mais adequadas para esse tipo de integração. Portanto, a afirmativa de que o Hadoop MapReduce pode ser utilizado para disponibilizar integrações de interface para outros sistemas não é precisa, resultando na incorreção da alternativa.

Para resolver tal questão com sucesso, é essencial compreender as funcionalidades e limitações da plataforma Hadoop e seus componentes, bem como o propósito e a aplicação do modelo MapReduce dentro do ecossistema de Big Data.

• Hadoop Common: contém um conjunto de utilitários e a estrutura base que dá suporte aos demais subprojetos do Hadoop. Utilizado em toda a aplicação, possui diversas bibliotecas como, por exemplo, as utilizadas para seriação de dados e manipulação de arquivos. É neste subprojeto também que são disponibilizadas as interfaces para outros sistemas de arquivos, tais como Amazon S3 e Cloudsource.

• Hadoop MapReduce: um modelo de programação e um arcabouço especializado no processamento de conjuntos de dados distribuídos em um aglomerado computacional. Abstrai toda a computação paralela em apenas duas funções: Map e Reduce.

https://edisciplinas.usp.br/pluginfile.php/97549/course/section/29436/JAI2012-Hadoop.pdf

Hadoop

• Processamento de dados em grandes aglomerados
• Processamento paralelo
• Confiabilidade
• Flexibilidade
• Baixo custo
• Escalabilidade horizontal

HDFS → sistema de armazenamento de arquivos para Big Data de forma distribuída

• write once, read many

Map Reduce

• Agrupamentos por chaves-valor
• transformar dados maiores em dados menores
• trabalho de forma distribuído e processamento paralelo
• trabalha em cima do HDFS para oferecer um processamento paralelo em um ambiente distribuído

- (ex; uma foto postada no instagram do CR7, essa foto vai passar na TL de todos os seguidores do jogador, e pra isso essa informação precisa estar distribuida e ser processada em diversos servidores ao redor do mundo todo)

tmj

Gabarito: Errado

O Hadoop MapReduce é mais adequado para tarefas de processamento em lote, especialmente aquelas que envolvem grandes volumes de dados. Ele não possui nativamente bibliotecas específicas para manipulação e serialização de arquivos, nem é projetado para oferecer integrações de interface. No entanto, o ecossistema Hadoop inclui outras ferramentas, como o Apache Hive e o Apache Pig, que oferecem interfaces de consulta e programação mais amigáveis para facilitar a análise de dados no Hadoop.

Errado

O erro na questão é que ela menciona o Hadoop MapReduce como uma ferramenta que "pode ser utilizado para disponibilizar integrações de interface para outros sistemas", o que não é uma característica direta do Hadoop MapReduce.

Para se usar integrações e interfaces, seria mais apropriado usar ferramentas ou bibliotecas específicas do ecossistema Hadoop, como Apache Hive para consultas SQL, Apache HBase para armazenamento em tempo real ou Apache Spark para processamento de dados em lote e em tempo real. Cada uma dessas ferramentas tem características específicas relacionadas à integração com outros sistemas ou à facilitação de interfaces para usuários.

A correção seria afirmar que o Hadoop, como um todo, oferece várias ferramentas para integração e manipulação de dados, enquanto o MapReduce se limita ao processamento distribuído.

gabarito - ERRADA