父亲在法律上是可以要回孩子的抚养权的，但具体是否能够成功，还需要考虑诸多因素。
首先，父亲需要证明自己有能力独自抚养孩子，包括生活、教育、日常护理等方面。若父亲无法证明自己有这些能力，就很难得到孩子的抚养权。
其次，孩子的意愿也必须被考虑进去。如果孩子已经与母亲形成了亲密的关系，不想跟父亲生活在一起，那么法院也会考虑到孩子的利益，不会迫使孩子离开母亲而去跟父亲生活。
最后，法院也需要考虑父亲和母亲的感情状况和关系。如果母亲与孩子的关系良好，而且没有虐待孩子的情况，法院也会考虑到孩子与母亲在一起的稳定性和利益，并不迅速判定抚养权归给父亲。
综上所述，父亲可以要回孩子的抚养权，但需要证明自己有能力独自抚养孩子，并考虑孩子的意愿和母亲与孩子的关系、感情状况等因素。除非非常必要，否则尽量通过协商等和解方式来处理亲权亲子关系纠纷，为孩子的健康成长提供更好的保障。
