如果离婚协议书都在男方手中，那么女方应该采取以下措施来确保自己的权益得到保障：
1.与男方沟通协商
首先应该尝试与男方沟通，协商离婚过程中离婚协议的签署问题。女方可以谈判要求男方将离婚协议书转交给双方的律师或者公证处进行签署。
2.寻求法律援助
如果无法通过协商解决，女方可以寻求法律援助，向律师咨询该如何合法地保护自己的权益，律师可以根据法律规定，通过法律途径强制男方将协议书交出，并根据协议书的内容为女方争取最大的离婚利益。
3.起诉离婚
如果男方故意拖延办理离婚手续甚至拒绝离婚，女方可以起诉离婚，法院会依法判决离婚并制作离婚证书，女方可以通过离婚协议书的内容为离婚协议提供证据支持。
4.寻求调解
在离婚过程中，如果男方坚持不让女方参与协商和签署离婚协议书，女方可以提出调解要求，寻求法律调解、民政调解等途径，就离婚协议达成一致。
总之，无论如何，女方不应放弃自己的权益，如果需要，可以寻求法律援助和支持，确保自己在离婚过程中得到公正对待。
