Olá Paulo!!

Para achar a função que nos dê a área do retângulo, primeiro tem que notar alguma relação na figura.

Por exemplo: na figura vc tem 3 triângulos, o maior com catetos 20 e 30, o outro com catetos 30-x e y, e o outro com catetos 20-y e x.

há outro modo tb, vou fazer por esse:
AT =a área do maior triângulo
A1 = área do triângulo com catetos 30-x e y
A2 = área do triângulo com catetos 20-y e x
AR = área do retângulo

AR = x.y

então:

AT = A1+A2+AR

20.30/2 = (30-x).y/2 + (20-y)x + xy
600 = 30y - xy + 20x - xy + 2xy
600 = 30y + 20x

y = -2x/3 + 20 ----- aqui temos y em função de x

mas ainda não é função que nos da a área do retângulo

isolando y na fórmula da área do retângulo:
AR = xy
y=AR/x

agora substitui na função que nós achamos

AR/x = -2x/3 + 20
AR = -2x^2/3 + 20x

a maior área será no vértice da parábola

Xv=-b/2a
Xv=-20/2.(-2/3) = 15

ARv=-2.(15)^2/3 + 20.15
ARv=-150 + 300

ARv= 150 ---- área máxima do retângulo


Em questões como essa, as medidas do retângulo de maior área sempre serão metade dos catetos,

x=30/2=15
y=20/2=10

AR=15.10=150

daí nem precisa de cálculo..

T+,
espero que tenha ajudado...