在中国，法律规定父母具有抚养孩子的权利和义务。如果父母离婚，法律仍然认为其双方仍有抚养孩子的权利和义务。因此，除非法院判决奶奶成为孩子的监护人，父亲仍然有抚养孩子的权利。
在一些特殊情况下，例如父母去世或失踪，未成年孩子可能会由其他成年监护人或亲戚抚养。然而，这种情况下需要依据法律程序进行，例如考虑是否需要监护人监护、抚养费用等等。
值得一提的是，如果父亲有不良行为或者被法院剥夺了抚养权，那么奶奶可能会成为孩子的监护人。在这种情况下，奶奶需要向法院申请监护权，并证明自己有足够的能力和条件去抚养孩子。
总的来说，如果父亲有抚养权，那么即使奶奶照顾孩子的时间比较多，也无法代替父亲的权利和责任。因此，如果有任何争议，需要通过法律程序解决，并以孩子的最大利益为基础做出裁定。
