刚签合同第二天不租，是否可以退回需根据具体情况判断。以下从不同角度为您详细分析：
一、合同有明确约定的情况
如果租赁合同中明确约定了提前退租的相关条款，比如“租户提前一定天数通知房东，并支付一定违约金便可退租”，那么只要您满足该条件，就可以按照合同约定退租。这种情况下，您通常需要承担一定的违约责任，即支付合同约定的违约金。但退租本身是合法的，因为您是依据合同条款来行使权利。
二、合同无明确约定，但存在法定解除事由的情况
房屋存在重大质量问题：
- 如果租赁房屋存在严重影响正常居住使用的质量问题，比如主体结构损坏、严重漏水等，您可以依据《民法典》中关于法定解除合同的规定，主张解除租赁合同。这种情况下，您无需承担违约责任，并可以要求房东退还已支付的租金和押金。
房东根本违约：
- 如果房东未按时交付房屋，或者交付的房屋与合同约定严重不符，比如房屋面积、设施等与合同描述存在重大差异，您也有权解除合同，并要求房东承担违约责任，包括退还租金和押金。
不可抗力因素：
- 如遇到自然灾害等不可抗力因素导致房屋无法居住，您同样有权解除合同并退租。但需要及时通知房东，并提供相关证据，如政府发布的灾害公告等。
三、合同无明确约定，且无法定解除事由的情况
- 如果合同中没有明确约定提前退租的条款，且不存在上述法定解除事由，那么您单方面要求退租就可能构成违约。此时，房东有权依据合同追究您的违约责任，可能要求您支付违约金或赔偿损失。违约金的数额通常按照合同约定执行，但如果约定过高或过低，您可以请求法院或仲裁机构进行调整。
四、建议操作步骤
仔细查看合同条款：
- 在决定退租前，务必详细阅读租房合同中的各项条款，特别是关于提前解除合同或退房的约定。这有助于您了解自己的权利和义务，避免不必要的法律纠纷。
与房东友好协商：
- 尽量与房东进行沟通，说明退租原因，并寻求双方都能接受的解决方案。如果可能的话，可以就违约金支付、租金退还等事项达成一致意见，并签订书面协议。
保留相关证据：
- 在整个过程中，务必妥善保留合同文本、支付记录、沟通记录、房屋状况照片等相关证据。这些证据在日后可能出现的维权过程中将起到关键作用。
考虑法律途径：
- 如果协商不成，且您认为自身权益受到侵害，可以考虑向法院提起诉讼或向仲裁机构申请仲裁。在提起诉讼或申请仲裁前，建议咨询专业律师的意见，以确保您的权益得到最大程度的保护。
总结来说，刚签合同第二天不租是否可以退回，需根据合同具体条款及实际情况综合判断。在决定退租前，建议您充分了解自己的权利和义务，并与房东进行友好协商。如果遇到法律难题或需要进一步的法律帮助，请随时向我咨询。