抚养权归还给男方是可能的，但具体情况需要根据孩子的最佳利益来决定。在考虑抚养权的归还时，法院将考虑以下几个因素：
1.父母的能力和偏好：法院将考虑父母的工作和家庭生活情况，以及他们提供孩子抚养的能力和意愿。
2.孩子的需要和意愿：如果孩子是年长的话，法院将考虑他们对前往哪个家庭的意愿。
3.孩子的稳定性和亲情关系：法院将考虑孩子已经建立的亲情关系，例如在哪个家庭上学和社交。
4.父母的历史和行为：如果有一方父母的历史和行为会对快乐的家庭生活造成危害，法院将考虑这个因素。
无论孩子居住的父母是谁，都应该把孩子的发展和最佳利益放在首位。任何争夺抚养权的方案都应该以孩子的利益为优先考虑，以确保他们的愉快和健康成长。
