挪用公款是一种犯罪行为，犯罪者将公共资金私自占用或转移，通常是表面上以非法手段为名义，实际却是进行了贪污、受贿等违法行为。如果犯罪者后来退回了挪用的公款，那么按照中国刑法的规定，刑罚的大小将会有所区别。
首先，需要明确的是，犯罪的本质并不取决于挪用的金额大小，而是侵占公共财产的行为本身就构成了犯罪。因此，只要证明了犯罪事实，就应该依法惩处，而不是因为金额少而轻判或者不判。
其次，如果犯罪者在挪用公款后，自愿向政府部门或者受损单位退回全部或部分挪用的资金，并且属于自首情节，那么在量刑时可以考虑从轻处罚。但是这种情况下轻判的幅度也限制在法律规定的范围内。
一般来说，如果犯罪金额较小且有退赔情况，则刑罚范围为拘役或者监禁；如果犯罪金额较大，则应该考虑到被侵害人的实际情况，如果对其造成了重大损害，则应该根据犯罪情节的严重程度适当加重刑罚。
总的来说，无论是否退回挪用的公款，都不能逃避法律的制裁。犯罪者要承担自己的责任，接受法律的惩罚。同时，对于政府机构和相关部门来说，加强防范和监管，杜绝此类违法犯罪的发生，是保障国家资产和公共利益的重要举措。
