Olá Paulo. Se eu entendi todas as notações utilizadas acho que fica assim:
g o f(x) = (F(x) - 1)¹\² , ((x/1+x²) -1)¹\² , Desse modo -X² + X - 1/X² +1 >_ 0. Essa aí é uma inequação do tipo quociente. Estudando os sinais da primeira funçâo , vemos que ela aceita apenas numeros complexos como raízes. Desse modo sendo "-X" < 0 , ela é negativa pra qualquer valor de X. Estudando a segunda ela também só aceita raízes complexas , Mas aí X > 0. Desse modo ela sempre será positiva. o estudo de sinais fica , Y < 0 pra qualquer X , Logo essa composição de funções não tem domínio no campo real.
Já em f o g(x) , g(x)/1+(g(x))² , (x - 1)¹/² / x ,x -1 >_ 0 com x diferente de 0 . X deve ser maior ou igual a 1.
em f(x) , a unica restrição de existencia seria o fato do denominador ser nulo desse modo x² = -1 , Que é um par de raízes complexas conjugadas , desse modo o domínio são os reais.
em g(x) , apenas tome cuidado pra fazer a raíz maior ou igual a zero.