首先，是否要回抚养权取决于具体情况。如果对方有钱，但是没有能力照顾孩子，那么抚养权仍然应该由你来承担。毕竟，孩子的权益应该放在首位。
其次，抚养权的归属应该是基于孩子的最佳利益。如果孩子在目前的生活环境中得到了充分的爱和关注，那么抚养权的改变可能会对孩子的生活造成不必要的冲击。如果你能够给孩子提供稳定和温暖的家庭环境，那么抚养权可能应该一直由你承担。
另外，应该考虑到孩子年龄和需要。如果孩子已经到了成年或者近成年的年龄，抚养权的改变也许并不会有实质性的影响。但是，如果孩子非常小，抚养权的改变可能会对孩子的心理健康产生影响。你需要仔细思考这一点，并咨询专业人士的建议。
最后，应该采取合理的方式解决争议。如果你决定要寻求抚养权，应该通过法律程序寻求解决。在寻求改变抚养权之前，你需要仔细考虑思考，并明确自己的要求和目标。如果需要，请咨询律师，并遵循所有相关法律程序。
总之，是否要回抚养权并不像表面上看起来那么简单。需要考虑到众多因素，以确保孩子在最佳利益下得到最好的照顾和关注。也需要采取适当的途径和程序以避免不必要的困扰。
