恋人出轨对于一个家庭来说是一个十分严重的问题，可以说是家庭伦理的一种破坏。对于这种情况，如果双方没有签订合法婚姻协议，那么就是指没有法律支持的情况下，受害方要回抚养权会面临一定的困难。但是如果有合法婚姻协议，另一方出轨确实可以影响到受害方的抚养权。
首先，需要明确的是，无论是法定夫妻还是非婚男女，如果两人有了孩子，那么孩子的利益应该是放在首位的。如果其中一方出轨，而且严重影响到孩子的身心健康，这时就需要对孩子的抚养权重新进行考虑。
对于非婚男女而言，法律的支持较少，但是可以通过民事诉讼来保护自己的权益。可以先到当地的人民法院进行诉讼，让法院来认定出轨的女方是否具有继续监护孩子的能力，如果是无法达到，则可以申请剥夺其抚养权。
对于已婚男女，如果感情出现问题，那么离婚是唯一的办法。但是需要注意的是，如果另一方出轨，可以作为离婚的重要证据之一。在离婚过程中提出对孩子的抚养权要求，法律会依据孩子的年龄、性别、身体健康等方面做出决定，以保证孩子的福利。
综上所述，恋人出轨对于受害方的抚养权是有一定的影响，但是具体要看双方是否具有合法婚姻协议等因素。对于情感问题，应该理性对待，以孩子为第一位考虑。
