对于没有抚养权的一方，处罚的方式取决于其是否违反法律规定。如果他们违反了法律规定，例如故意违背了监护权判决或其他法律限制，那么应该对其采取相应的法律措施，比如罚款、拘留或其他适当的处罚，以保证孩子得到适当的照顾和保护。
当然，在实施惩罚之前，应该优先考虑维护孩子的利益。如果双方父母都能够合理照顾孩子，就应该给予他们共同抚养的机会。如果一方没有抚养权的原因是因为某些特殊情况（比如因为工作原因不方便照顾孩子），那么另一方可以考虑协商解决，安排探视时间或支付一定的抚养费用，以保证孩子得到足够的照顾。
最重要的是，对于缺乏抚养权的父母来说，他们应该时刻牢记孩子是自己的责任和义务，尽力为孩子提供良好的成长环境和教育，不断争取孩子的亲近和信任，以使孩子在成长过程中获得充实和良好的心理和生理状况。
