首先，需要明确的是，抚养权的归属并非是一件简单的事情，往往需要通过法律途径来解决。对于爷爷要回孙子的抚养权，需要考虑以下几个方面：
1. 是否存在抚养纠纷
如果目前爷爷和其子女(孙子的父母)存在抚养纠纷，那么爷爷确实可以通过法律途径争取孙子的抚养权。在这种情况下，需要证明孙子的父母存在不能给孩子提供良好抚养的情况，例如滥用药物、酗酒、家庭暴力等。
2. 父母是否存活
如果孙子的父母还在世，并且没有出现严重失能等情况，那么爷爷申请抚养权的难度就会更大一些。
3. 孙子的生活状态
孙子目前的生活状态也会影响抚养权申请的结果。如果孙子已经稳定地生活在父母身边，并且生活有保障，那么法院可能认为没有必要更换抚养人。
4. 爷爷是否有相应的能力
作为申请抚养权的抚养人，爷爷需要有照顾孩子的基本能力，例如照顾孩子的能力、经济能力、家庭环境等等。
总结来说，爷爷要回孙子的抚养权存在一定的难度和限制性。需要考虑到孙子父母是否存活，孙子目前的生活状态，爷爷是否有照顾孩子的能力等方面。如果仍然想要争取抚养权，可以寻求相关法律咨询或律师协助。
