在我国，法院确实可以起诉要回抚养权。当有关抚养权争议涉及一方父母的未成年子女时，可以根据《中华人民共和国婚姻法》及其相关解释进行起诉申请。具体来说，父母双方可以就子女的抚养方式和抚养费用进行协商，但如无法达成一致，或一方存在对子女生命、健康或者教育成长可能造成威胁等情形时，可以向人民法院提起诉讼请求确定抚养方式、抚养费用等。
然而，要注意的是，法院在进行抚养权的判决时，并不是简单地采取把孩子留给母亲或是父亲的方式，而是综合考虑诸多因素，如孩子的健康状况、心理因素、双方的经济条件等，并根据实际情况作出判断。此外，法院还需要尊重孩子的意愿，尽可能地听取孩子的意见，这样才能保障孩子的利益和权益。
总之，法院可以起诉要回抚养权，但在诉讼和判决的过程中需要考虑多方面因素，并保障孩子的利益和权益。
