答案是不行。在中国，拆迁是一项法律程序，需要政府和居民签订拆迁协议，明确双方权利和义务，达成共识。如果没有拆迁协议，政府就不能随意拆除居民的房屋。
拆迁需要遵循法定程序。在中国，拆迁程序包括立案调查、听证、评估、协商、签订协议和资金补偿等环节，必须通过严谨的程序，合法地处置居民房屋，才能保障居民的合法权益。
在拆迁过程中，政府必须严格遵守《城市房地产管理法》、《城市房屋拆迁管理暂行条例》等法律规定，保证居民的合法权益得到充分保护。
如果政府没有按照法律规定进行拆迁，并且未与居民达成协议，就不能擅自拆除房屋。如果政府违法拆迁，居民可以依法维护自己的权益，向有关部门提出申诉或者诉讼，维护自己的合法权益。
总之，没有拆迁协议的情况下，政府不能随意拆除居民的房屋。只有在遵守法律程序、与居民签订协议之后，政府才能进行拆迁。
