不签署拆迁协议是不能算做违建的。因为拆迁协议是需要双方协商后签署的一份合法协议，通过这份协议，拆迁方可以获取合理的补偿，保障房屋所有权合法转移，并且保证被拆迁人员在后续的居住安置等方面得到妥善的处理。
如果被拆迁人员拒绝签署拆迁协议，那么这个时候就不能把房子视为违建。但是，如果房屋没有符合城市规划、建筑设计等要求而被违规建设，就会被视为违建。这时，政府会根据相关规定进行处置，包括罚款、强制拆除等操作。
当然，在拆迁过程中，如果被拆迁人员对得到的赔偿不满意，也可以通过法律途径进行争议处理。在这种情况下，如果房屋符合相关规定，即使拆迁协议未达成，也不能被视为违建。
总之，虽然不签署拆迁协议不会被视为违建，但这并不意味着可以无限制地拒绝合理的拆迁赔偿，违规建造的房屋一样会受到严格的处罚。
