首先，如果离婚协议中约定的财产分割或赡养费等款项不得到履行，对方当事人可以通过民事诉讼途径来追回自己应有的权益。而民事诉讼的结果，最终需要通过执行程序来实现。如果当事人仍然不履行义务，法院可以采取强制措施，例如冻结拍卖对方的财产、限制对方的人身自由等。而如果对方依然不履行，可以采取强制执行措施，例如拘留等。如果被拘留的期限达到10日以上，则被视为刑事拘留，进入刑事司法程序。
其次，根据中国刑法规定，违反判决、裁定，未履行法院责令的给付金钱、执行行为的，情节严重的，可以构成拒不执行判决、裁定罪，最高可判处3年有期徒刑。因此，如果离婚协议中约定的财产分割或赡养费等款项未得到履行，对方当事人可以被判刑。同时，如果对方违法拒不执行判决、裁定，法院也可以向公安机关报案，构成犯罪的，公安机关会对该案件展开刑事审查和追究刑事责任。
综上所述，离婚协议的钱不给可能会导致刑事责任和民事责任的并发，但绝不是说离婚协议的未履行就一定会坐牢，具体需要视情况而定，建议双方在离婚协议签订之前一定要认真考虑清楚，避免后续的纠纷和风险。
