离异双方都没有抚养权的情况下，通常会由亲属或司法部门来确定孩子的监护人。一般情况下，如果孩子的父母不能达成共识，司法部门会先进行调解。如果调解无效，法院将根据孩子的最佳利益来决定监护权归属。
法院判决孩子的监护人通常会优先考虑孩子的需要和福利。为了确定监护人，法院会派遣社会工作者进行家访，以了解孩子的家庭环境和监护人的情况。如果有不利因素存在，比如监护人的虐待、忽视、赌博、吸毒等负面行为，法院将不会判定监护权归给该监护人。
如果离异双方都没有抚养权，法院通常会选择一个合适的监护人。监护人可以是父母的亲属、朋友或其他适合的人，这取决于孩子的具体情况。如果没有合适的监护人，孩子可能需要进入寄养或养护机构，直到合适的监护人或养父母出现。
总的来说，在离异双方都没有抚养权的情况下，孩子的监护权归属需要通过法律程序来决定。关键是要以孩子的利益为出发点，并寻找最佳的监护人来照顾孩子的生活和成长。同时，离异双方也需要认识到对孩子对抚养权的争夺可能对孩子的心理健康造成不良影响，并尽力协商解决问题。
