挪用公款是违反法律的行为，无论金额大小都属于犯罪。因此，挪用公款4万元无论是否退还，都属于犯罪行为。
当一个人挪用公款时，实际上是在侵占公共财产，这种行为危害了国家和人民的利益。如果按法律规定，挪用公款的行为是会受到法律制裁的，只是犯罪的性质、情节和结局的严重程度不同。
退还所挪用的公款并不能从法律上免除相关人员的责任，因为这并不能掩盖这种行为是违法行为的事实。无论是主动退还还是被迫退还，相关人员都必须承担相应的法律责任。在这里，需要指出的是，退还所挪用的公款可以适当地在法律责任上减轻处罚，但是无法从根本上改变“违法”的本质。
因此，无论是否退还，违法行为都成立。某些情况下，犯罪行为可能受到轻判或减轻处罚，但这并不意味着可以挪用公款或者违反法律。只有真正地做到遵守法律、诚信守法，才能维护公平、公正、公开的社会秩序，建立一个有法治精神的社会。
