Leonardo doou a seus 4 filhos todos os livros raros de sua ...

"Leonardo doou a seus 4 filhos todos os livros raros (x) de sua biblioteca"

"Ao mais velho, doou 1/4 do total desses livros e mais a quarta parte de um desses livros"
x/4 + 1/4

restou:
x - (x/4 + 1/4) = 3x/4 - 1/4

"ao segundo, 1/3 do número de livros restantes e mais a terça parte de um desses livros"
1/3 (3x/4 - 1/4) + 1/3 = x/4 + 1/4

restou:
x - (x/4 + 1/4) - (x/4 + 1/4) = x/2 - 1/2

"ao terceiro, doou 1/2 do novo resto e mais a metade de um desses livros"
1/2 (x/2 - 1/2) + 1/2 = x/4 + 1/4

restou:
x - (x/4 + 1/4) - (x/4 + 1/4) - (x/4 + 1/4) = x/4 - 3/4

"ao último, igualmente, doou 1/2 da nova sobra e mais a metade de um desses livros"
1/2 (x/4 - 3/4) + 1/2 = x/8 + 1/8

restou:
x - (x/4 + 1/4) - (x/4 + 1/4) - (x/4 + 1/4) - (x/8 + 1/8) = x/8 - 7/8

"ficando então sem nenhum livro raro"
ou seja:
x/8 - 7/8 = 0

x = 7

Quantos cm2 é o espaço mínimo no papel para fazer os cálculos desta questão?

Eu já penso em outra forma para resolver essa questão que talvez ajude a entender um pouco melhor:

Leonardo doou a seus 4 filhos todos os livros raros de sua biblioteca.

1 - Ao mais velho, doou 1/4 do total desses livros e mais a quarta parte de um desses livros: 1/4 de X - 1/4 (ou 0,25);

2 - ao segundo, 1/3 do número de livros restantes e mais a terça parte de um desses livros: 1/3 de X - 1/3 (ou 0,34);

3 - ao terceiro, doou 1/2 do novo resto e mais a metade de um desses livros: 1/2 de X - 1/2 (ou 0,5);

4 - ao último, igualmente, doou 1/2 da nova sobra e mais a metade de um desses livros: 1/2 de X - 1/2 (ou 0,5); 

R - ficando então sem nenhum livro raro: 0 .

Quantos livros raros Leonardo possuía em sua biblioteca? (Como livros raros são valiosos e é evidente que nenhum deles foi partido, essa redação expressa uma equivalência.)

Se colocar tudo em linha fica muito confuso e acabe 'não pegando' a explicação. Vou tentar colocar de outra maneira para quem sabe, ajudar.

IMPORTANTE: Ficar atento a diferença das frações, por exemplo: se 1/3, deve se considerar 2/3, que é "a diferença" dos livros que ele tinha inicialmente ou no passo anterior. Caso de 3/4 que é a diferença que ele possuía antes da doação de 1/4 ao primeiro filho, ou filho mais velho.

Atentar também para a reversão das operações de multiplicação e divisão da fração.

R = 0;

4 - (0 do anterior + 0,5) / 1 x 2 = 1; onde / 1 x 2 é a diferença de 1/2 de X com a aplicação da reversão

3 - (1 do anterior + 0,5) / 1 x 2 = 3; onde / 1 x 2 é a diferença de 1/2 de X com a aplicação da reversão

2 - (3 do anterior + 0,33) / 2 x 3 = 5;  onde / 2 x 3 é a diferença de 1/3 de X com a aplicação da reversão

1 - (5 do anterior + 0,25) / 3 x 4 = 7;  onde / 3 x 4 é a diferença de 1/4 de X com a aplicação da reversão

Concluindo...inicialmente Leonardo possuía 7 livros raros em sua biblioteca.