在我国法律中，对于未成年子女的抚养权问题，一般是由父母协商一致或者由法院判决来解决的。如果父母离异或者分居，子女的抚养权通常由照顾子女更为有利的一方行使，而非谁是法定监护人。因此，在孩子五岁的时候要回抚养权，需要满足以下条件：
首先，需要有充分的证据证明原来行使抚养权的一方存在严重的疏忽、虐待或遗弃等情况，给孩子的身心健康带来了危害。这种情况一般会导致对孩子很长时间的身心伤害和成长上的退步，因此才需要采取强制措施。
第二，如果另一方能够提供更好的生活环境和更好的教育资源，从而更好地满足孩子的成长需要，同时也愿意承担抚养孩子的责任，那么他也可以申请抚养权。
总而言之，要回抚养权不是一件容易的事情，需要满足很多条件并提供充足的证据。在解决子女抚养权问题时，需要理智地思考，并尽量减少对孩子身心健康的影响。相信只有这样才能促进孩子的长期健康发展。
