首先，应该了解抚养权的概念和法律规定。抚养权是指在离婚或分居、单亲家庭等情况下对于未成年子女的抚育、教育和生活的权利和义务。根据我国《婚姻法》规定，父母对未成年子女有共同的抚养权，如果离婚，子女抚养权的归属需要经过协商，如果无法达成协议，则需要通过法院判决。
如果孩子不给男方抚养权，应该首先了解孩子的意愿以及孩子抚养的具体情况。男方可以联系自己的律师，根据孩子的意愿和抚养情况，提起法律诉讼来解决问题。同时，也可以通过和女方的协商来达成协议，协商的内容可以包括交替抚养、监护权的探视时间以及各种生活费用等等。
在处理这类问题的过程中，男方应该保持冷静，理性地权衡各种因素，不要让感情因素左右自己的决策。同时，也要保持与孩子的亲情联系，对孩子进行尽可能多的关爱和陪伴，让孩子感受到自己的存在感。
