背着拆迁协议书是无法使其失效的。拆迁协议书作为一种合同文书，其签署双方有相互约束的法律效力，必须遵守协议书内容的所有规定，否则将承担相应的法律责任。
如果一方背着协议书进行不当的行为，该行为并不因此失去约束力。协议双方应该遵守协议的约定，认真履行自己应尽的义务，避免出现纠纷和不必要的损失。
如果在签订协议时存在欺诈、胁迫等行为，协议存在瑕疵，可以通过法律途径予以纠正。但背着协议书，一方不履行合同规定，单方面变更或取消协议条款，一般情况下是行不通的，因为这些行为都是违反合同精神和法律规定的，法律会对其进行惩罚。
因此，在签订拆迁协议书时，应该认真阅读、理解和履行协议书，同时要求对方也认真履行协议的所有条款，以避免出现不必要的风险。如果出现任何问题，应该立即与有关部门和律师进行联系，并通过法律途径解决争议。
