Hola.

Como A > B, então vamos usar valores menores para A e B, e ver o que acontece com a resposta.
Se A = 2 e B = 1, temos:
[(2 –1 )² + 4*2*1] / [2 –1 )² - 4*2*1] = (1 + 8) / ( 1 – 8) = - 9/7.
Vc disse que a resposta é + 16, número positivo, então algo está incorreto nessa conta.
Creio que devemos ter no denominador (A + B)². Sempre é bom verificar a mensagem antes de enviá-la, para que nós não tenhamos que adivinhar o que fazer e ficar quebrando a cuca.
Um exercício com números altos assim numa prova onde vc não pode usar a calculadora, é sinal de que a banca examinadora está querendo os cobrar alguma teoria aprendida, para que esses cálculos não roubem muito tempo de prova.

Nesse caso está sendo cobrado a decomposição e a fatoração de
números ou expressões.

(A - B)² + 4AB
_____________ :

(A + B )² - 4AB

Vamos decompor os números dados:
5555 = 5*(1111)
3333 = 3*(1111)

(5555 - 3333)² + 4*5555*3333
__________________________

(5555 + 3333)² - 4*5555*3333


(2222)² + 4*5555*3333
__________________________

(8888)² - 4*5555*3333


(2222)² + 4*(5*)(1111)*3*(1111)
___________________________

(8888)² - 4*(5*)(1111)*3*(1111)


(2222)² + 4*5*3(1111)*(1111)
___________________________

(8888)² - 4*5*3(1111)*(1111)


(2*1111)² + 60*(1111)*(1111)
___________________________

(8*1111)² - 60*(1111)*(1111)


2²*(1111)² + 60*(1111)²
___________________________

8²*(1111)² - 60*(1111)²


4*(1111)² + 60*(1111)²
___________________________

64*(1111)² - 60*(1111)², agora vamos fatorar o numerador colocando o termo comum (1111)² em evidência, em seguida vamos fazer o mesmo com o denominador.


(1111)² *( 4 + 60)
______________

(1111)²*( 64 – 60), agora risque esse fator comum (1111)² em cima e embaixo dessa fração:
(4 + 60) / (64 – 60) = 64 / 4 = 16

Na última passagem se vc quissesse poderia colocar o 4 também em evidência, teríamos:


4*[1*(1111)² + 15*(1111)²]
___________________________

4*[16*(1111)² - 15*(1111)²], agora coloque (1111)² em evidência


4*(111)²*[1 + 15]
___________________________

4*(1111)²*[16 - 15], risque o que é comum:

(1 + 15) / 16 – 15)

16/1 = 16 c.q.d.