结论：让人从家中离开时拽倒对方，是否构成违法需视具体情况而定，可能涉及侵权责任，甚至可能构成犯罪。
分析如下：
侵权责任角度：
- 根据《中华人民共和国民法典》第一千一百六十五条，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。若拽倒行为导致对方受伤或财产损失，且行为人存在过错（如故意或过失），则可能构成侵权，需承担相应的民事赔偿责任。
- 赔偿范围通常包括医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入。若造成残疾或死亡，还需赔偿残疾赔偿金或死亡赔偿金等。
犯罪角度：
- 若拽倒行为情节严重，如出于故意伤害的目的，且造成对方轻伤以上后果，则可能构成故意伤害罪。根据《中华人民共和国刑法》第二百三十四条，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。
- 若拽倒行为是在非法侵入住宅的过程中实施的，如强行闯入他人家中并拽倒对方，则可能同时构成非法侵入住宅罪和故意伤害罪，需数罪并罚。
建议：
- 立即停止侵害行为：若拽倒行为正在发生或可能继续发生，应立即停止，以避免进一步的法律后果。
- 评估对方伤势：若对方受伤，应及时送医治疗，并保留好相关医疗记录作为证据。
- 协商解决：在双方自愿的基础上，可以尝试协商解决赔偿事宜，以达成和解协议。
- 寻求法律帮助：若协商无果或对方要求过高，建议及时咨询专业律师，了解自身权利和义务，并准备应对可能的法律诉讼。
后续行动：
- 若对方提起民事诉讼，需积极应诉，提供相关证据证明自己的行为不构成侵权或犯罪，或证明对方存在过错以减轻自身责任。
- 若对方报警并指控犯罪，需配合警方调查，并如实陈述事实。在刑事诉讼过程中，有权委托律师进行辩护，以维护自身合法权益。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。