该情况下，您有权拒绝换车库，并可要求对方承担侵权责任。接下来，我将对此进行详细分析：

一. 对方无权要求换车库

1. 车库所有权归属：根据《物权法》的相关规定，车库作为不动产的附属物，其所有权通常归属于车库所在房屋的所有权人，除非有特别的约定或证明。在您卖出房屋但保留车库所有权的情况下，车库仍属于您所有。
2. 对方占用与破坏行为：对方未经允许占用并破坏您的车库，已侵犯了您的财产权。此行为并不构成其要求换车库的正当理由。

二. 您可要求对方承担侵权责任

1. 侵权责任构成：根据《侵权责任法》（现已融入《民法典》侵权责任编），对方占用并破坏您的车库，已满足侵权责任的构成要件，即存在侵权行为、造成损害后果、侵权行为与损害后果之间存在因果关系，且对方存在过错。
2. 侵权责任承担方式：您有权要求对方停止侵害、排除妨碍、消除危险、返还财产、恢复原状、赔偿损失等。具体到您的情况，您可以要求对方停止占用车库、修复车库至原状或赔偿相应的损失。

三. 处理建议

1. 与对方协商：虽然对方无权要求换车库，但您可以尝试与对方进行协商，看是否能通过其他方式解决纠纷，如支付一定费用作为补偿等。但请注意，任何协商结果都应明确记录并签署书面协议，以避免后续纠纷。
2. 采取法律措施：若协商无果，您应尽快采取法律措施维护自己的权益。可以向法院提起诉讼，要求对方承担侵权责任并赔偿损失。同时，注意收集相关证据，如车库被占用的照片、视频、对方承认占用的聊天记录等，以支持您的诉讼主张。

综上所述，您有权拒绝对方换车库的要求，并可要求其承担侵权责任。如有进一步需要，您可以继续咨询我。