买了房又把钱退给买主，这一行为本身并不直接构成违法，但其合法性取决于具体情境和背后的法律关系。以下从不同角度进行分析：
一、合同履行与解除的角度
合同正常履行后退款：
- 如果房屋买卖合同已经正常履行，即房屋已经过户至买主名下，且买主已经支付了全部购房款，之后双方协商一致，卖方将购房款退还给买主，这通常被视为双方对合同的一种变更或解除，并不违法。但这种情况较为特殊，一般需要有明确的合同约定或双方达成一致的书面协议。
合同解除后退款：
- 如果在房屋买卖合同履行过程中，因某种原因（如买方违约、卖方无法交付房屋等）导致合同解除，根据合同约定或法律规定，卖方可能需要将已收取的购房款退还给买主。这种情况下，退款是合法的，且是合同解除后的法律后果之一。
二、违法行为的判定
欺诈或虚假交易：
- 如果卖方在出售房屋时存在欺诈行为（如隐瞒房屋真实情况、伪造证件等），导致买主在不知情的情况下购买了房屋，之后卖方又以各种理由退款，这种行为可能构成欺诈，是违法的。
非法集资或诈骗：
- 如果卖方以出售房屋为名，实际上是在进行非法集资或诈骗活动，即收取购房款后并未用于房屋交易，而是用于其他非法目的，之后又退款给买主（可能是为了掩盖非法行为或逃避法律责任），这种行为也是违法的。
三、法律建议
审查合同条款：
- 在进行房屋买卖交易时，双方应仔细审查合同条款，确保合同内容明确、合法，并明确约定退款的条件和方式。
保留相关证据：
- 无论是卖方还是买方，在交易过程中都应保留好相关证据（如合同、付款凭证、沟通记录等），以便在发生纠纷时能够证明自己的权益。
寻求法律帮助：
- 如果对房屋买卖交易中的退款问题存在疑问或争议，建议及时咨询专业律师，以便得到专业的法律意见和帮助。
总结来说，买了房又把钱退给买主是否违法，取决于具体情境和背后的法律关系。如果双方是合法、自愿地解除合同或变更合同内容，并按照约定进行退款，那么这一行为是合法的。但如果存在欺诈、虚假交易或非法集资等违法行为，那么退款行为就可能构成违法。因此，在进行房屋买卖交易时，双方应谨慎对待退款问题，并确保自己的行为符合法律法规的规定。如有任何疑问或争议，建议及时咨询专业律师。