Podemos resolver ess exercício da seguinte maneira:

Primeiramente vamos verificar a condição de existência da função f(x)=1/log(log(x^2-3x)-1)^1/2.

A condição de existência da função é que log(x^2-3x)-1>0,pois em logaritmos o logaritmando que neste caso é x^2-3x,mas como log(x^2-3x)^1/2 é o mesmo que raiz quadrada de log(x^2-3x)-1,temos que considerar log(x^2-3x)-1>0,sendo assim temos que:

log(x^2-3x)-1>0,note que nessa desigualdade podemos substituir 1 por log10,pois 10^1=10,então log10=1 e substituir 0 por log1,pois 10^0=1,então log1=0,sendo assim temos que o domínio da função é dado por:

log(x^2-3x)-log10>log1

No entanto em logaritmos temos a seguinte propriedade:

logM-logN=logM/N,onde M>0 e N>0

Sendo assim temos:

log(x^2-3x)-log10>log1     log(x^2-3x)/10>log1

 No entanto para que log(x^2-3x)/10>log1 temos necessariamente que x^2-3x/10>1,sendo assim temos:

x^2-3x/10>1     x^2-3x>10.1    x^2-3x>10

x^2-3x-10>0

No entanto vamos achar as raízes da inequação x^2-3x-10>0 para isso vamos igualar a inequação a 0,sendo assim temos:

x^2-3x-10=0

Aplicando a Fórmula de Baskára temos que:

Vamos considerar o valor de delta igual a D.

D=b^2-4.a.c,onde a,b e c são os coeficientes da inequação

D=b^2-4.a.c    D=(-3)^2-4.1.(-10)    D=9-(-40)

D=9+40    D=49

x=-b + ou - raiz quadrada de D / 2.a

x=-(-3) + ou - raiz quadrada de 49 / 2.1

x=3 + ou - 7 / 2

x'=3-7/2     x'=-4/2      x'=-2

x"=3+7/2     x"=10/2     x"=5

Como que os valores >0 para a função note que construindo o gráfico da reta real (R) os valores maiores são aqueles que estão no intervalo x<-2 ou x>5.

Podemos ainda representar a solução como S={x pertencente aos R/x<-2 ou x>5} ou  ]-infinito,-2[ U ]5,+infinito[. 

Resposta:O domínio da função f(x)=1/(log(x^2-3x)-1)^1/2 é {x pertencente aos R/x<-2 ou x>5} ou  ]-infinito,-2[ U ]5,+infinito[. 

Espero ter ajudado!!!