Como você colocou a resposta, acredito que o enunciado esteja errado. Vou resolver do jeito que está escrito e depois propor uma mudança no enunciado que eu acredito ser a questão correta (para dar a resposta).

Vou primeiro mostrar uma maneira melhor de se apresentar um somatório aqui no fórum.
Em vez de escrever:
Somatorio de n e k=0 . C ( n , p ).7 ^ n . ( -1 ) ^ k + somatorio m e j = 0 . C ( m , j ) . 3 ^ m = 64

Seria melhor:
soma(k=0)(n)[C(n,p).7^n.(-1)^k] + soma(j=0)(m)[C(m,j).3^m]=64

Acredito que desta forma fica mais fácil de entender...

Bom, lembrando que os fatores do somatório que não possuam o indexador (no caso "k" e "j") podem ser retirados do somatório. Portanto, podemos escrever:

C(n,p).7^n.soma(k=0)(n)[(-1)^k] + 3^m.soma(j=0)(m)[C(m,j)]=64

No primeiro somatório temos a soma +1-1+1-1+1-1+1-.... quer resultará zero se n for par e +1 se n for ímpar. No segundo somatório temos a soma da m-ésima linha do triângulo de Pascal, que vale 2^m. Agora vamos substituir em dois casos, n par e n ímpar.

n par
0 + 3^m.2^m = 64
6^m=64
m=log(6)(64)

n ímpar
C(n,p).7^n + 3^m.2^m=64
que não nos dá nenhuma conclusão.

Portanto, a resposta para o enunciado descrito em sua mensagem seria n par e m=log(6)(64)

Agora, com uma pequena mudança no enunciado podemos melhorar tudo:

soma(k=0)(n)[C(n, k).7^n.(-1)^k] + soma(j=0)(m)[C(m,j).3^j ]=64

As modificações estão grifadas em verde.

A resolução para este caso é:

Tirando os termos que não dependem dos indexadores do somatório:

7^n.soma(k=0)(n)[C(n, k).(-1)^k] + soma(j=0)(m)[C(m,j).3^j]=64

Já que 1 elevado à qualquer potência resulta 1, podemos incluir dois fatores 1 que irão nos auxiliar;

7^n.soma(k=0)(n)[C(n, k).(1)^(n-k).(-1)^k] + soma(j=0)(m)[C(m,j).(1)^(m-j).3^j]=64

Agora podemos ver que o primeiro somatório é a expansão binomial de (1-1)^n e o segundo somatório é a expansão do binômio (3+1)^m. Sendo assim podemos escrever:

(1-1)^n + (3+1)^m = 64

que nos dá a resposta esperada: qualquer "n" e m=3.

Atenciosamente
Prof. Caju
WebMaster cursinho.hpg.com.br