Uma urna contém inicialmente 5 bolas brancas e 3 bolas preta...

Sendo sincero, não me sinto tão confortável para comentar sobre questões de probabilidade (sou péssimo), mas resolvi da seguinte forma (fiquem à vontade para discordar):

Quero a probabilidade de 3 bolas sorteadas com reposição serem pretas, isto é, a primeira ser preta E a segunda ser preta E a terceira ser preta também, com a condição de que a primeira e a segunda bola sorteadas foram devolvidas à urna com mais duas bolas da mesma cor (Por exemplo: se eu peguei uma bola preta, devolvi com mais duas pretas). A condição faz com que o espaço amostral se altere a cada devolução.

Sendo assim, probabilidade de pegar uma bola preta no 1º lançamento: 3/8 (bolas pretas/bolas totais)

Devolvi a que peguei (necessariamente preta) e a urna ficou com 5 pretas e 5 brancas, totalizando 10 bolas.

No segundo lançamento, a probabilidade de pegar uma preta fica: 5/10 (bolas pretas/bolas totais).

Devolvi a que peguei e a urna ficou com 7 pretas e 5 brancas, totalizando 12 bolas.

No terceiro lançamento a probabilidade de pegar uma preta muda para 7/12, seguindo a mesma lógica.

Como são eventos do tipo "E", devo multiplicar as probabilidades.

3/8 x 5/10 x 7/12 = 105/960 = 0,109... x 100%, 10,9%, aproximadamente 11%.

Gabarito letra D

A redação ficou confusa pois na terceira reposição, não ficou claro que iria retornar com mais duas bolas. Acredito que a questão deveria ser anulada.

Temos que 

P(três bolas retiradas pretas) = P(Primeira ser preta) ⋅P(Segunda ser preta) ⋅ P(terceira ser preta).

Como são adicionadas 2 bolas de mesma cor em cada um das retiradas, então 

P(três bolas retiradas pretas) = P(Primeira ser preta) ⋅

P(Segunda ser preta) ⋅

 P(terceira ser preta)

P(três bolas retiradas pretas)=3/8⋅5/10⋅7/12

P(três bolas retiradas pretas)=1/8⋅1/2⋅7/4

P(três bolas retiradas pretas)=0,109375≈0,11.

Gabarito: Letra D