Considere o sistema de equações lineares nas variáveis reai...

Achei muito válida a sua solução. No caso, só um pequeno erro:

  k²    1

 1     -k

                        Assim, vai chegar ao gabarito (C) k=-1; m=-1

Fiz por tentativas:

Primeiro tentei k=1, m=1, fiquei com:

x+y=3

x-y=4

Não encontrei a solução testando alguns pares..

Segundo tentei k=-1, m=-1, fiquei com

x+y=3

x+y=3

Aí os pares (3,0) (0,3) (2,1) (1,2), etc... bateram

letra C

Solução genérica, isto é, para quaisquer x e y que satisfaçam as condições aprensentadas:

Da primeira equação tem-se:

k²a + b = k²b + a

k²(a - b) = a - b

k = ±1

Chegamos em dois valores possíveis para k, analisemos agora a segunda equação:

a - kb = b - ka

k(a - b) = b - a

k(a - b) = - (a - b)

k = -1

A segunda equação adimite apenas k = -1, portanto, para as duas equações k deve ser -1. Logo, o sistema fica da seguinte forma:

x + y = 3

x + y = m + 4

Logo:

m + 4 = 3

m = -1

Resposta: k = -1 e m = -1. Letra C

Sabe-se que (a,b) e (b,a) fazem parte da solução do sistema, portanto:

(x,y) podem ser (a,b) ou (b,a), então...

Substituindo (x,y) por (a,b), temos:

K²(a) + b = 3 (I)

(a) - k(b) - m = 4 (II)

ou

Substituindo (x,y) por (b,a), temos:

K²(b) + a = 3 (III)

(b) - k(a) - m = 4 (IV)

Agora é só igualar (I) com (III) e (II) com (IV)