协议离婚时孩子分配问题一直备受争议，涉及到孩子的权益和生活质量，因此需要慎重考虑和权衡。若协议离婚时，孩子都归男方，从法律和人性方面来看，有以下几个方面需要考虑：
首先，根据我国《婚姻法》规定，孩子在未成年期间有权享受双亲的抚养、教育和保护，父母对孩子有监护责任。在协议离婚过程中，双方需考虑孩子的利益，如双方都有照顾孩子的条件，应尽量保持双方抚养孩子的平衡，否则，孩子会身心受到损害。
其次，协议离婚男方得到孩子的主要抚养权可能给孩子带来心理上的创伤和困扰。如孩子太小或因为一些原因经历过父母离婚，独自生活在主要由男方生活的环境中，容易感到安全感和依靠感的缺失。这一时间不会对孩子的发展造成好坏影响。
最后，虽然离婚后男方得到全部抚养权可以减轻女方的经济负担，但带孩子的责任也非常沉重。如没有较好的工作和生活环境，可能会影响孩子的学习和成长，甚至无法妥善照顾孩子。
综上所述，如果协议离婚时孩子都归男方，这是需要非常谨慎和考虑到所有方面的决定。应根据孩子的实际情况和利益，寻找最合适的安排。如果孩子太小或不能选择，需要多方面考虑，以此确保孩子得到尽可能全面的父母关注和关爱，确保他们的身心健康和幸福。
