如果一方拒绝履行离婚协议中约定的买房义务，可能会引起另一方的担忧和困难。在这种情况下，建议采取以下措施：
1. 向法院起诉
如果离婚协议是在法院的监督和确认下签署的，那么双方应该遵守协议的规定。如果一方不履行协议，另一方可以向法院提起诉讼，要求对方履行协议义务。
2. 进行调解
如果双方之间存在分歧，可以寻求调解。调解员会协调双方意见，找到双方都可以接受的解决方案。如果调解成功，就可以签署协议，正式解决买房的问题。
3. 寻求专业帮助
如果一方不愿意履行买房义务，可能存在一些避不开的复杂情况。在这种情况下，建议寻求专业的律师或房产中介的帮助。律师可以帮助协商和起草合同，确保双方都能遵守协议。房产中介可以帮助找到适合的房子，并指导买卖流程。
最后，在协议离婚中，必须强调双方的协商，相互尊重，遵守共同达成的协议。如果一方不愿意遵守协议，应及时寻求法律援助，以维护自己的利益。
