结论概述：是否需要退还违约金，取决于租赁合同中的具体约定以及撵走房客的具体原因和合法性。以下从不同角度进行分析：
合同约定角度：
- 有明确约定：如果租赁合同中明确规定了在特定情况下（如房客违约、损坏房屋等）房东有权撵走房客，并且约定了在此情况下房东无需退还违约金或押金，那么房东可以依据合同约定行事，无需退还违约金。
- 无明确约定或约定模糊：如果合同中没有明确规定或规定模糊，那么房东撵走房客的行为可能构成违约，需要按照合同法的相关规定或双方协商的结果来处理违约金退还问题。
撵走房客的原因及合法性角度：
- 合法原因：如果房东撵走房客是基于合法的原因，如房客严重违反合同约定（如拖欠租金、损坏房屋等），并且房东已经按照合同或法律规定的程序进行了通知和催告，那么房东有权撵走房客，并且可能无需退还违约金（具体取决于合同约定）。
- 非法原因：如果房东撵走房客的原因不合法，如无故驱赶、恶意骚扰等，那么房东的行为可能构成侵权或违约，需要承担相应的法律责任，包括退还违约金、赔偿损失等。
法律后果及建议：
- 法律后果：如果房东非法撵走房客且拒绝退还违约金，房客有权向法院提起诉讼，要求房东退还违约金并赔偿损失。法院将根据合同约定、双方行为以及相关法律法规进行裁决。
- 建议：在处理此类纠纷时，建议房东和房客首先回顾租赁合同中的相关条款，明确双方的权利和义务。如果合同中有明确约定，则按照约定处理；如果合同中没有明确约定或约定模糊，则建议双方协商解决或寻求法律援助。作为房东，在撵走房客前应确保自己的行为合法合规，避免不必要的法律纠纷。
进一步思考：在处理租赁合同纠纷时，合同条款的明确性和合法性至关重要。因此，建议房东和房客在签订租赁合同时，务必仔细阅读合同条款，确保自己的权益得到充分保障。同时，在履行合同过程中，双方也应遵守合同约定和法律法规，避免产生不必要的纠纷。如果您在处理此类纠纷时遇到任何问题或需要进一步的法律建议，请随时向我咨询。