不一定会直接判刑，但是不履行抚养义务有可能会被惩罚。根据《婚姻法》规定，父母都有抚养未成年子女的义务。如果父母有能力却不履行抚养义务，会被视为违反法律规定，需要承担相应的法律责任。具体惩罚方式包括：
1. 财产冻结、拘留和罚款等行政处罚。
2. 民事诉讼中，未履行抚养义务的一方可能面临支付高额的赡养费、分割家庭财产等后果。
3. 刑事诉讼中，如果未履行抚养义务属于违反治安管理行为的范畴，可能会被处以行政拘留或警告等轻度刑罚。而情节较为严重的则有可能构成犯罪行为，被判处刑罚。
总之，未履行抚养义务的行为都是违法行为，需要承担相应的法律责任。因此，作为家长，我们应该认识到抚养责任的重要性，积极履行自己的义务，让孩子健康成长。
