结论：是否犯法取决于对方是否享有在你家的居住权以及你采取的方式是否合法。

1. 如果对方不享有居住权：

   • 在这种情况下，如果对方是未经你允许而擅自入住，或者原本有居住权但已经丧失（例如，离婚后对方已无权继续居住），你要求对方离开是合理的。然而，直接采取暴力或威胁手段让对方“滚出去”可能涉及违法，如侵犯他人人身权利或构成寻衅滋事等。
   • 建议做法：你可以通过合法途径，如与对方协商、报警处理或通过法律诉讼（如申请排除妨害纠纷诉讼）来要求对方搬离。这些方式都是合法且有效的，能够保护你的权益同时避免法律风险。

2. 如果对方享有居住权：

   • 如果对方基于某种法律关系（如婚姻关系存续期间的共同居住权、租赁合同中的承租人权利等）而享有在你家的居住权，那么你单方面要求对方离开可能构成违法。
   • 居住权的具体情况：
     • 婚姻关系：在婚姻关系存续期间，夫妻双方通常享有共同居住的权利。如果一方未经另一方同意擅自要求对方离开，可能涉及侵犯配偶的居住权。
     • 租赁关系：如果对方是承租人，且租赁合同尚未到期或未依法解除，你作为出租人或房屋共有人无权单方面要求对方搬离，否则可能构成违约或侵犯承租人的居住权。
   • 建议做法：在这种情况下，你应该先与对方协商解决居住问题。如果协商无果，你可以通过法律途径来变更或终止对方的居住权，如提起离婚诉讼并请求法院判决对方搬离（在婚姻关系情况下），或通过解除租赁合同等方式来解决问题。

额外提醒：

• 在处理此类问题时，务必保持冷静和理性，避免采取过激行为导致法律纠纷升级。
• 如果你不确定对方是否享有居住权或不知道如何合法地要求对方搬离，建议咨询专业律师以获取更具体的法律建议。

后续行动建议：

• 如果你已经采取了不当方式要求对方离开，并且担心可能因此面临法律责任，建议尽快与对方沟通并寻求和解，以减轻可能的法律后果。
• 如果你打算通过法律途径解决问题，请准备好相关证据（如房屋产权证明、租赁合同、婚姻关系证明等）以便在诉讼中使用。

如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。