不一定可以要回抚养权，因为不让探视本身不一定是一个足够的法律依据来收回抚养权。在大多数情况下，法庭或相关机构认定孩子的利益是最重要的，并不会轻易收回已经授予给监护人的抚养权。
然而，如果孩子的监护人没有合理的理由限制他人探视孩子，探视权受限制的人可能会提出申请去依法要求恢复探视权。而在这种情况下，在监护人没有提供合理理由的情况下，法庭可能会更倾向于将孩子的福祉放在第一位，并恢复探视权。
另外，如果监护人的不让探视行为涉嫌对孩子造成伤害或不当影响，例如针对非法传授思想、从事宗教活动或破坏对孩子健康有害的行为，可能会鼓励法庭更能给予申请要回抚养权者更大的支持。
总之，在进行此类案件时，先要寻求专业法律意见，并展示足够的证据支持申请要回抚养权的真正需求。根据美国的这些情况而言，它往往是一个非常复杂且具有挑战性的过程，并需要周密考虑以及专业的建议。
