首先要明确的是，孩子的抚养权是依据法律规定的，而不是依据孩子的年龄来决定的。在中国，根据《中华人民共和国婚姻法》的规定，夫妻离婚后子女的抚养，应由双方共同行使，但父母一方死亡、丧失或者无行为能力的，由另一方行使。如果双方无法达成协议，则由人民法院依法判决。因此，孩子5岁并不能直接决定自己的抚养权问题。
在考虑要不要要回抚养权之前，需要看清楚孩子的现状和自己的实际情况。孩子所处的环境是否稳定、是否有足够的爱和关怀、是否接受了良好的教育等，都是需要考虑的因素。同时，自己也需要评估自己的能力和条件，是否能够为孩子提供一个优秀的成长环境。如果自己的条件和能力还不够，那么就需要先努力提高自己，让自己更好地为孩子服务。
如果认为孩子的现状确实需要改变，孩子自己也表达了要回到自己的身边，那么可以向人民法院提出诉讼，请求修改抚养安排。但是，这需要有充分的证据证明孩子的现状确实不好，需要改变。同时还需要与前配偶进行协商，并得到孩子的意愿和支持。法院会根据实际情况做出判决，以保护孩子的权益。
总之，要回抚养权不是一个简单的问题。需要充分考虑孩子的利益和自身的实际情况，准备充分的证据和材料，并与前配偶协商，尽量寻求和解的途径。如果需要到法院申请，也要准备好心理和精神上的压力。最重要的是，要以孩子的利益为出发点，尊重孩子的意愿，让孩子健康成长。
