根据《中华人民共和国婚姻法》第三十二条规定，“子女的抚养权由父母共同行使，离婚后，由父母行使或者判决一方行使”。因此，离婚后如果一方未支付抚养费，不能直接要回抚养权，需要通过司法途径解决。
如果一方未支付抚养费，另一方可以向法院提起诉讼，要求支付抚养费，并要求行使抚养权。如果法院认定未支付抚养费的一方严重违反了抚养义务，同时另一方也有能力、意愿并符合法定条件独立抚养孩子，法院可以判决将抚养权判给另一方。
然而，在判决抚养权时，法院会优先考虑孩子的最佳利益。如果双方都没有能力或不适合独立抚养孩子，法院可以判决由其他人或单位承担抚养责任，例如祖父母、保姆或收养机构等。
综上所述，不给抚养费不能直接导致要回抚养权，需要通过司法途径解决。在申请抚养权时，必须符合法定条件并考虑孩子的最佳利益。离婚后，父母都有责任和义务独立或共同承担抚养责任。
