结论：在房屋租赁合同签了三年，第二年您不想继续出租并想收回房屋的情况下，能否收回取决于合同中的具体条款以及双方协商的结果。若合同中有明确约定单方解除合同的条件或提前收回房屋的条款，且您符合这些条件，那么您可以按照合同约定收回房屋；若合同中没有相关约定或约定不明确，您可能需要与承租人协商，并可能需要承担一定的违约责任。
分析说明：
合同约定优先：
- 在房屋租赁关系中，合同是双方权利义务的基础。如果合同中明确规定了单方解除合同的条件或提前收回房屋的条款，并且您符合这些条件，那么您有权按照合同约定收回房屋。
- 例如，合同中可能约定：“若出租人因特殊原因需提前收回房屋，应提前X个月通知承租人，并支付相当于X个月租金的违约金。”在这种情况下，您只需按照合同约定履行通知和支付违约金的义务，即可收回房屋。
协商解除合同：
- 如果合同中没有明确约定单方解除合同的条件或提前收回房屋的条款，或者约定不明确，您可能需要与承租人协商解除合同。
- 在协商过程中，您可以提出您的需求和理由，如个人原因、房屋需要维修等，并尝试与承租人达成一致意见。如果承租人同意提前解除合同，双方可以签订解除合同的协议，并明确各自的权利义务。
承担违约责任：
- 如果合同中没有约定单方解除合同的条件，且承租人不同意提前解除合同，您单方面收回房屋可能构成违约。
- 根据《民法典》的相关规定，违约方需要承担违约责任，包括赔偿守约方因此遭受的损失。在这种情况下，您可能需要支付承租人一定的违约金或赔偿金，以弥补其因合同提前解除而遭受的损失。
特殊场景：
- 如果承租人存在违约行为，如拖欠租金、擅自改变房屋结构等，您有权根据合同约定或法律规定解除合同，并收回房屋。在这种情况下，您不需要承担违约责任，反而有权要求承租人承担违约责任。
行动建议：
- 仔细审查合同：首先，您需要仔细审查租赁合同中的相关条款，了解双方的权利义务以及解除合同的条件和程序。
- 与承租人协商：如果合同中没有明确约定或约定不明确，您可以尝试与承租人协商解除合同，并尽量达成一致意见。
- 寻求法律帮助：如果协商无果或承租人不同意提前解除合同，您可以咨询专业律师（即我，杨榭律师，专注于婚姻家庭、合同纠纷、房产纠纷领域），了解您的法律权利和义务，以及可能面临的法律后果和解决方案。
法律条文参考：
- 根据《民法典》第五百六十二条：“当事人协商一致，可以解除合同。当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。”
- 根据《民法典》第五百七十七条：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。”