公款私存不还可能构成挪用公款罪或职务侵占罪，应依法追究刑事责任。针对这一问题，我们可以从以下几个方面进行分析：

一. 法律性质分析

1. 挪用公款罪：根据《刑法》第三百八十四条，国家工作人员利用职务上的便利，挪用公款归个人使用，进行非法活动的，或者挪用公款数额较大、进行营利活动的，或者挪用公款数额较大、超过三个月未还的，是挪用公款罪。若公款私存的行为符合上述条件，则可能构成挪用公款罪。

2. 职务侵占罪：根据《刑法》第二百七十一条，公司、企业或者其他单位的人员，利用职务上的便利，将本单位财物非法占为己有，数额较大的，构成职务侵占罪。若公款私存且不打算归还，具有非法占有的目的，则可能构成职务侵占罪。

二. 法律责任分析

1. 刑事责任：若公款私存的行为构成犯罪，则应依法追究刑事责任。根据犯罪的情节和数额，可能面临有期徒刑、拘役、罚金等刑罚。

2. 民事责任：除了刑事责任外，公款私存不还还可能引发民事责任。单位有权要求行为人返还被挪用的公款，并赔偿因此造成的损失。

三. 应对措施

1. 及时报案：单位发现公款被私存不还后，应及时向公安机关报案，由公安机关依法立案侦查。

2. 收集证据：在报案前，单位应尽可能收集相关证据，如银行交易记录、会计凭证等，以证明公款被私存的事实。

3. 法律途径追讨：若公款私存行为不构成犯罪，或者犯罪行为人已承担刑事责任但拒不退还公款，单位可以通过民事诉讼途径追讨。

我建议，单位在发现公款被私存不还后，应尽快采取措施，通过法律途径维护自身权益。同时，也应加强内部管理，完善财务制度，防止类似事件再次发生。如有进一步需要，您可以继续咨询我。