Letra C.
Sites indexadores, como o Google Buscas, Bing (Microsoft), e outros de menor destaque.

Web crawler

Web crawler é um programa de computador que navega pela World Wide Web de uma forma metódica e automatizada. Outros termos para Web crawlers são indexadores automáticos, bots, web spiders, Web robot, ou Web scutter.

O processo que um Web crawler executa é chamado de Web crawling ou spidering. Muitos sites, em particular os motores de busca, usam crawlers para manter uma base de dados atualizada. Os Web crawlers são principalmente utilizados para criar uma cópia de todas as páginas visitadas para um pós-processamento por um motor de busca que irá indexar as páginas baixadas para prover buscas mais rápidas. Crawlers também podem ser usados para tarefas de manutenção automatizadas em um Web site, como checar os links ou validar o código HTML.^[1] Os crawlers também podem ser usados para obter tipos específicos de informação das páginas da Web, como minerar endereços de email (mais comumente para spam).

Um Web crawler é um tipo de robô de Internet ou agente de software.^[2] Em geral, ele começa com uma lista de URLs para visitar (também chamado de seeds). À medida que o crawler visita essas URLs, ele identifica todos os links na página e os adiciona na lista de URLs para visitar. Tais URLs são visitadas recursivamente de acordo com um conjunto de regras.

Na internet, robots, ou robôs, são aplicativos que percorrem a internet em busca de conteúdo com o objetivo de indexar ou verificar alterações ocorridas desde a última "visita". Robots também são conhecidos como "indexadores", "bots" ou "crawlers". Muito conhecidos na comunidade SEO, possuem até nome próprio. Os robots do Google são chamados de Googlebot, os robots do Bing de Bingbot, os robots do Yahoo de Yahoobot ou Yahoo! Slurp. Seguindo links de páginas, eles permitem aos sites de busca varrerem a internet para armazenar o conteúdo encontrado pelo caminho.

http://www.seomarketing.com.br/robo-google-googlebot.php

                         Diretório : em informática, diretório, diretoria ou pasta é uma estrutura utilizada para organizar arquivos em um computador ou um arquivo que contém referências a outros arquivos.    
  
                    Metabuscas: Metabusca ou metapesquisa é um sistema de busca na web que permite ao usuário a pesquisa em vários mecanismos simples de busca simultaneamente. As ferramentas de metabusca funcionam da mesma forma que outros motores de busca, com a vantagem de padronizar a pesquisa do usuário, tornando-a mais abrangente e mais rápida, por ampliar o número de fontes buscadas. 

                     Indexadores: Indexadores são sites e blogs que notificam aos usuários que existem noticias “novidades” nos meta-blogs , somente usuários cadastrados poderão enviar as suas noticias para receberem avaliações dos agregadores de conteúdo. As noticias são avaliadas através de votos e comentários, os indexadores é uma grande rede de blogueiros “agregadores de conteúdo”, com grande atualizações de meta-blogs, os usuarios podem interagir, seguir, e assinar feed destes meta-blogs.

                     Webmail: Webmail é uma interface da World Wide Web que permite ao utilizador ler e escrever e-mail usando um navegador.

Pede-se àqueles que colarem textos do wikipédia em seus comentários que explicitem a fonte. Grato.

O Google sempre faz isso.