结论：您的情况是否构成违法或需要承担法律责任，取决于您与对方之间的法律关系以及您无法退回剩余3000元的具体原因。以下从不同角度为您详细分析：
一、若您与对方之间存在明确的借贷关系
法律关系分析：
- 如果对方转账给您5000元是出于借贷的目的，且您接受了这笔款项，那么您与对方之间就形成了借贷关系。
- 您退回2000元后，剩余的3000元在法律上应视为您尚未偿还的借款。
法律后果：
- 如果您因暂时资金困难无法立即退回剩余的3000元，这并不构成违法。但您有义务在合理期限内偿还这笔借款。
- 如果对方报警，警方可能会介入调解，建议您与对方协商还款计划。若协商不成，对方可能会通过民事诉讼途径要求您偿还借款。
- 在民事诉讼中，如果法院判决您偿还借款而您拒不执行，对方可以申请法院强制执行，这可能会对您的信用记录产生不良影响。
二、若您与对方之间不存在明确的借贷关系
法律关系分析：
- 如果对方转账给您5000元是出于赠与、误转或其他非借贷目的，且您没有明确的还款义务，那么您退回2000元后，剩余的3000元在法律上可能不构成您的债务。
- 但如果对方能够证明转账是出于借贷目的，而您无法提供相反证据，那么法律上可能会倾向于认定存在借贷关系。
法律后果：
- 如果对方报警并声称您非法占有其财物，警方可能会进行调查。在这种情况下，您需要提供证据证明您与对方之间不存在借贷关系，或者您有合理的理由无法退回剩余款项。
- 如果警方认定您存在非法占有行为，且数额较大（虽然3000元可能不构成“数额较大”的标准，但具体需根据当地规定判断），您可能会面临治安管理处罚，如罚款、拘留等。然而，在大多数情况下，这种纠纷更倾向于通过民事途径解决。
三、建议与措施
与对方协商：
- 建议您首先与对方进行沟通，说明您无法立即退回剩余3000元的原因，并尝试达成一个合理的还款计划。
保留证据：
- 无论您与对方之间是否存在借贷关系，都建议您保留好所有相关的转账记录、聊天记录等证据，以备不时之需。
寻求法律帮助：
- 如果对方坚持要求您立即退回剩余款项，或者您对法律关系存在疑问，建议您咨询专业律师（即向我咨询），以便更好地维护自己的合法权益。
最后，您的情况是否构成违法或需要承担法律责任，取决于具体的法律关系和事实情况。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。