政府在拆迁过程中需要尊重居民的权利和利益，按照相关法律程序进行，当市政府与居民签订了拆迁协议后，双方之间就形成了法律关系，政府不能随意撤销拆迁协议。
根据《中华人民共和国城市房地产管理法》规定，政府进行城市重建等项目拆迁时，必须与当事人达成协议，政府不能以自身意志随意废止拆迁协议。如果政府违反法律程序和拆迁协议撤回、修改拆迁协议，必须承担法律责任，应当依法承担相应的民事或行政责任。
当然，在特殊情况下政府有权解除拆迁协议，例如拆迁项目被暂停或终止、拆迁项目所在区域发生重大变化等不可抗力因素。如果政府与居民需要解除拆迁协议，必须经过民事调解，如果调解不成功，则需经法院判决。
总之，政府必须根据法律程序进行拆迁，尽量减少居民的权益损失，遵守和尊重双方签订的合同条款。如果政府拆迁协议需要解除，必须遵守相关法律规定和程序，否则政府需要承担相应的法律责任。
