Olá Sandra

Nesta questão você só precisa utilizar o fato de que um quadrado tem todos os lados iguais.
Digamos que o quadrado GCFE tem lado X, então os lados do retângulo serão 10+X e 2+X.

A área de um retângulo é dada pela multiplicação de suas duas medidas. Como o enunciado diz que tem 105 m², podemos escrever a equação:

(10+X)(2+X)=105

Desenvolvendo:

20+10X+2X+X²=105

X² + 12X - 85 = 0

Aplicando Báscara você encontra como raízes:
X'=5 e X''=-17

Como o lado de um quadrado não pode ter valor negativo, a resposta final é X=5.