[Englishman]

1)
обозначим первый член прогрессии через а, а её знаменатель через q.

2)
тогда из первого условия получаем:
a*(a*q)*(a*q^2) = 64
a^3*q^3 = 64
(a*q)^3 = 64
a*q = 4

3)
выражаем q через a:
q = 4/a

4)
теперь рассматриваем второе условие:
a^3 + (a*q)^3 + (a * q^2)^3 = 584

подставляем q = 4/a:
a^3 + (a * 4/a)^3 + (a * 16/a^2)^3 = 584
a^3 + 64 + (16/a)^3 = 584
a^3 + 4096/a^3 = 520

5)
обозначаем t = a^3:
t + 4096/t = 520
t^2 - 520*t + 4096 = 0
t = 512 или t = 8

6)
t = a^3, значит,
a^3 = 512 или a^3 = 8
a = 8 или a = 2
q = 4/a, значит q = 1/2 или q = 2

7)
в первом случае получается прогрессия 8, 4, 2, а во втором 2, 4, 8, то есть это одна и та же прогрессия, просто с переставленными членами...

вот и всё... =)