针对您提出的问题，首先明确结论：在没有签订书面租赁合同的情况下，对方支付租金后第二天反悔不租，您不给退钱的行为，从法律角度来看，可能涉及是否构成违约以及租金是否应当退还的问题。这主要取决于双方之间的约定以及实际履行情况。

分析说明：

1. 合同形式与效力：

   • 根据《民法典》的规定，租赁合同是出租人将租赁物交付承租人使用、收益，承租人支付租金的合同。租赁期限六个月以上的，应当采用书面形式。当事人未采用书面形式，无法确定租赁期限的，视为不定期租赁。
   • 在您的情况中，由于未签订书面合同，且对方支付租金后第二天即反悔，若双方未明确约定租赁期限，则可能构成不定期租赁。

2. 租金退还与违约责任：

   • 对于不定期租赁，当事人可以随时解除合同，但出租人解除合同应当在合理期限之前通知承租人。
   • 若对方在支付租金后第二天即提出不租，且您未能在合理期限内提供租赁物或双方未就租赁事宜达成进一步的一致，您不退还租金可能缺乏充分的法律依据。
   • 然而，若双方有口头约定或实际履行行为表明租赁关系已经成立，且对方无故反悔，您也有权主张对方承担一定的违约责任，包括但不限于赔偿因对方反悔给您造成的损失。

3. 建议与解决方案：

   • 首先，建议双方进行友好协商，尝试就租金退还和租赁关系解除达成一致。
   • 若协商不成，您可以考虑通过法律途径维护自己的权益，如向法院提起诉讼，要求对方承担违约责任并赔偿损失。
   • 在未来，为了避免类似纠纷的发生，建议您在出租房屋时务必签订书面租赁合同，明确双方的权利和义务。

综上所述，您不给退钱的行为是否构成违约以及租金是否应当退还，需要根据双方之间的实际约定和履行情况来判断。建议您先与对方进行协商，若协商不成，再考虑通过法律途径解决纠纷。如有其他法律问题，欢迎随时向我咨询。