在中国，优先抚养权的归属是由法律规定的。目前，我国的《婚姻法》第三十二条明确规定，未成年子女的抚养应当由父母共同承担和履行。如果只有一方能够承担，由该方担任。
在夫妻双方发生离婚时，根据实际情况，法院判定一方或双方监护、抚养未成年子女。如果你的丈夫出轨，但是你们还没有离婚，他仍然是孩子的父亲，同样具有与你一样的权利和义务来抚养孩子。在这种情况下，如果你想放弃他对孩子的抚养权，必须得到他的同意。
如果你们已经离婚了，而你获得了孩子的抚养权，你的丈夫仍然可以申请行使探视权。此外，如果你无法履行有关责任，法院可能会要求将孩子交给他抚养。
总之，优先抚养权的归属与离婚和出轨并无直接关系，而是根据实际情况和法律规定来判断的。如果你有关于抚养权的问题需要解决，最好咨询专业的律师以获取正确的建议。
