a² - b² = 26880

x².16² - y².16² = 26880

x².16² - y².16² = 16².105

x² - y² = 105

(x + y)(x -y) = 105

Fatorando 105, temos 3.5.7, note que o produto (x + y)(x -y) tem sair desta fatoração, existe algumas possibilidades, mas não são tantas assim que não possam ser testadas.

Vamos lá   3.7.5 = 105

               21.5 = 105

(x + y) = 21

(x -y) = 5

Resolvendo o sistema, temos x = 13   e  y = 8

Retornando ao início da resolução teremos a= 208 e b =128

(Bom acho que é isso, usando um pouco de bom senso matemático, fiz apenas dois testes para encontrar a solução, aqui descrevi apenas o segundo)