可以告买家，但能否胜诉及具体处理方式需根据买家退钱的原因及合同条款来综合判断。以下从不同角度为您详细分析：
一、买家无正当理由要求退钱
合同效力：
- 若您与买家签订的二手房买卖合同是双方真实意思表示，且不违反法律、行政法规的强制性规定，那么该合同是合法有效的。
- 买家作为合同的一方，应当履行合同约定的义务，包括支付购房款等。
买家违约：
- 如果买家无正当理由要求退钱，即单方面解除合同，这构成违约行为。
- 根据《民法典》的相关规定，违约方应当承担违约责任，包括赔偿守约方因此遭受的损失。
您的权利：
- 您有权要求买家继续履行合同，支付购房款。
- 如果买家拒绝履行，您有权向法院提起诉讼，要求买家承担违约责任，包括赔偿您因违约而遭受的损失，如房屋差价损失、诉讼费用等。
二、买家有正当理由要求退钱
合同瑕疵或违约：
- 如果房屋存在质量问题、产权纠纷等瑕疵，或者您作为卖方存在违约行为（如未按时交付房屋、未办理产权过户等），那么买家有权要求解除合同并退钱。
- 在这种情况下，您可能需要承担一定的违约责任或赔偿买家的损失。
不可抗力或情势变更：
- 如果因不可抗力（如自然灾害、政府政策调整等）或情势变更（如市场价格大幅波动等）导致合同无法履行或履行显失公平，那么买家可能有权要求解除合同。
- 但这种情况下，双方通常需要协商解决，或者根据法律规定和合同约定来处理。
您的应对：
- 如果买家提出正当理由要求退钱，您应当首先审查合同条款和实际情况，判断买家的要求是否合理。
- 如果买家的要求合理，您应当与买家协商解决，如调整价格、解除合同并退还部分款项等。
- 如果协商无果，您也可以考虑通过法律途径解决争议。
三、建议与注意事项
审查合同条款：
- 在处理此类纠纷时，首先应当仔细审查合同条款，了解双方的权利和义务。
收集证据：
- 无论买家提出何种理由要求退钱，您都应当收集相关证据来支持自己的主张，如合同文本、付款凭证、房屋质量检测报告等。
协商与诉讼：
- 在处理纠纷时，优先尝试与买家协商解决。如果协商无果，再考虑通过法律途径解决争议。
寻求专业帮助：
- 如果您对法律问题不熟悉或处理起来有困难，可以寻求专业律师的帮助来维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况提供详细的法律建议和解决方案。