如果回迁房拆迁协议丢失了，我们应该立即采取以下措施：
首先，要尽快报告相关部门。如果发现协议丢失，应该第一时间报告街道办事处、村委会及拆迁领导小组，详细记录所遇情况，并要求办理补办手续，确保权益不受损害。
其次，要去相关单位申请补办。拿着身份证明、房产证等相关证件，到拆迁办公室等相关单位申请补办协议。在向相关部门报告前，应将协议备份一份，以备不时之需。
最后，可以通过法律途径保护自己的权益。如果在补办协议的过程中遇到了难题，比如协议的内容被篡改，不符合事实，可以考虑通过法律途径申诉维权，维护自身合法权益。
总之，要及时报告相关部门，申请补办协议，同时保留备份资料，以避免权益被侵害。同时，要做好心理准备，保持耐心和信心，相信有相关部门和法律能够帮助我们处理好这个问题。
