拆迁安置费是指政府依法拆迁民房时，按照国家有关规定给予拆迁户的一定经济补偿，主要是用于支付拆迁户的安置费、搬迁费、过渡期间生活补贴等。在拆迁过程中，由于涉及到很多拆迁户的利益，拆迁安置费的相关政策也比较复杂。
通常来说，一般拆迁安置费是直接支付给拆迁户的，不需要退回。但是，如果拆迁户在拆迁后没有按照政府规定进行搬迁和安置，或者根据政策规定需要进行退还，那么就需要按照相关政策进行退还。
比如，有些地区规定，拆迁户在新房入住后，如果因个人原因（如违反规定出租新房等）离开新房，就需要按照一定比例进行拆迁安置费的退还。此外，在拆迁过程中，如果政府的拆迁规划发生变更，导致拆迁户原本应该得到的拆迁安置费发生变化，那么也需要按照变化后的政策进行退还。
总体而言，拆迁安置费的退还需要根据具体政策情况进行，需要拆迁户在拆迁前仔细了解政策规定，确保在拆迁后得到应有的补偿。对于政府来说，也需要加强政策执行力度，确保拆迁安置费的公平合理发放和使用，有效维护拆迁户合法权益。
