对于挪用公款的违法行为，退回公款仅仅是避免刑事责任最基本的条件，而且只是第一步。而如果仅仅把挪用的公款退回来，却不进行一定的追责，那么就是在给违法行为提供生存空间，也是对社会公正的一种打击。
在退回公款的时候，必须考虑到财物性质以及退款的具体流程等方面，确定是否需要进行退库。如果挪用的款项是来自国家机关、公共事业单位或者社会保障基金等，那么挪用者应当承担退还公款并承担违法成本的责任，这些退款需要按照具体财政规章进行处理。
对于一些特殊情况下的违法行为，比如个人从个人账户挪用公款，退回公款后可以不用退库。但是如果这些款项是来自国有企业、国有资产管理等，那么退款就需要按照财务管理制度进行退回，并纳入接受公开审计的内部控制系统。
此外，退回公款还要考虑其他因素，比如是否应当进行相应的追责，退款的具体时间等等。一般来说，退回公款需要征求有关单位负责人的同意，确保退款的追究、处理有依据、严谨，遵循相关法律、法规和财务管理制度，确保退回的公款合法、准确。”
总之，挪用公款是一种严重违法行为，对于挪用人只退回公款是不够的，必须由专业机构对各种因素作出详细的分析，确定是否需要退库，遵循相应制度进行流程操作，确保挪用行为得到严肃追究。只有真正惩治挪用公款等违法行为，才能维护社会公正、厚重法治基础。
