网络上被骗的钱退回来并不直接构成违法，但退钱行为本身并不能改变之前诈骗行为的违法性质。下面我将从不同角度为你详细分析这个问题：

一、诈骗行为的违法性

首先，需要明确的是，诈骗行为本身就是违法的。无论最终是否退还了被骗的钱财，只要实施了诈骗行为，即通过欺骗手段非法占有他人财物，就构成了诈骗罪。这一点在《刑法》第二百六十六条中有明确规定：诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。

二、退钱行为的法律效果

1. 退钱不能改变诈骗行为的违法性： 退钱行为是在诈骗行为已经发生后进行的，它并不能改变之前诈骗行为的违法性质。也就是说，即使退还了被骗的钱财，诈骗者仍然需要对其之前的诈骗行为承担法律责任。

2. 退钱可能影响量刑： 虽然退钱不能改变诈骗行为的违法性，但它在一定程度上可能影响量刑。根据司法实践，人民法院在审理诈骗案件时，会综合考虑诈骗者的退赃、退赔行为对于被害人损失的弥补程度以及退赃、退赔金额的大小等多个方面，从而确定适当的量刑幅度。如果诈骗者能够积极退赃、退赔，并取得被害人的谅解，那么在量刑时可能会得到从轻或者减轻处罚的考虑。

三、具体案例分析

假设你在网络上被某人以虚假理由骗取了钱财，后来该人意识到自己的错误或者出于其他原因将钱财退还给了你。在这种情况下：

• 诈骗行为已经构成：因为该人已经通过欺骗手段非法占有了你的财物，所以构成了诈骗罪。
• 退钱行为可能影响量刑：如果该人在退钱的同时能够积极配合调查，并取得你的谅解，那么在量刑时可能会得到从轻或者减轻处罚的考虑。但这并不意味着他可以完全免除法律责任。

四、建议与提醒

1. 及时报警：如果你在网络上被骗了钱财，应该立即报警并保留好相关证据，以便警方能够及时展开调查。
2. 谨慎交易：在网络上进行交易时，一定要谨慎对待陌生人的信息和要求，避免上当受骗。
3. 了解法律：增强自己的法律意识，了解相关的法律法规和司法实践，以便在遇到类似情况时能够做出正确的判断和应对。

最后需要强调的是，网络上被骗的钱退回来并不直接构成违法，但也不能因此忽视之前诈骗行为的违法性质。如果你遇到了类似的情况或者有任何法律疑问，都可以直接向我咨询。