结论：不可以直接将赖在家里不走的人推出去，这样的行为可能涉及违法，甚至可能构成犯罪。

法律背景与建议：

1. 非法侵入住宅与正当防卫的界限：

   • 非法侵入住宅是指未经允许强行进入他人住宅，或者经要求退出而拒不退出，影响他人正常生活和居住安宁的行为。如果对方确实存在非法侵入住宅的行为，你有权要求其离开。
   • 然而，直接将对方推出去可能并不构成正当防卫。正当防卫要求防卫行为必须针对正在进行的不法侵害，且防卫行为必须适度，不能明显超过必要限度造成重大损害。在对方只是赖着不走，并未实施暴力或其他严重不法侵害的情况下，直接推搡可能被视为过度防卫。

2. 可能面临的法律后果：

   • 如果你的推搡行为导致对方受伤，你可能需要承担民事赔偿责任，甚至可能因故意伤害罪而面临刑事处罚。
   • 即使对方确实存在非法侵入住宅的行为，你也应该通过合法途径解决，如报警或向法院提起诉讼，要求对方停止侵害、排除妨碍或赔偿损失。

3. 合法解决途径：

   • 报警：如果对方赖着不走，你可以立即报警。警方会到场处理，并根据情况对对方进行警告、罚款或拘留等处罚。
   • 提起诉讼：如果对方的行为严重影响了你的正常生活，你可以向法院提起诉讼，要求对方停止侵害、排除妨碍或赔偿损失。在诉讼过程中，你可以提供相关证据，如现场照片、视频、证人证言等，以支持你的主张。

4. 特殊情况下的处理：

   • 如果对方是老年人、残疾人或未成年人等特殊群体，你在处理时需要更加谨慎。避免使用暴力或过度防卫，以免引发更大的纠纷或法律责任。
   • 在处理此类纠纷时，保持冷静和理智至关重要。避免与对方发生肢体冲突或言语争执，以免激化矛盾或导致事态升级。

行动建议：

• 在面对此类情况时，首先尝试与对方沟通，了解其来意和诉求，看是否能够通过协商解决问题。
• 如果沟通无果，且对方的行为确实影响了你的正常生活，立即报警并保留好相关证据。
• 在等待警方到场的过程中，尽量避免与对方发生直接冲突，确保自身安全。
• 如果后续需要提起诉讼或进行其他法律程序，及时咨询专业律师（即我本人，赵冠律师，专注于经济纠纷、刑事辩护领域），以获取更具体的法律建议和帮助。