结论：债权人到债务人家里不走，若未经允许且严重影响债务人及其家人的正常生活，是违法的，可能构成非法侵入住宅罪或违反《治安管理处罚法》，需承担相应的法律责任。
详细分析：
非法侵入住宅的违法性：
- 根据我国《宪法》第三十九条的规定，公民的住宅不受侵犯。任何人在未获得所有权人允许的情况下，不得强行进入或滞留。若债权人无视债务人的反对，强行居住或滞留，即构成对债务人住宅安宁权的侵犯。
- 具体到《刑法》第二百四十五条，非法搜查他人身体、住宅，或者非法侵入他人住宅的，处三年以下有期徒刑或者拘役。这意味着，如果债权人的行为被认定为非法侵入住宅罪，将面临刑事处罚。
违反《治安管理处罚法》的后果：
- 即便债权人的行为不构成犯罪，也可能触犯《治安管理处罚法》。该法规定，非法侵入他人住宅的，可处以拘留和罚款。具体处罚包括五日以下拘留或五百元以下罚款；情节较重的，处五日以上十日以下拘留，并可并处五百元以下罚款。
合法讨债的方式：
- 协商与调解：债权人应首先尝试与债务人进行友好协商，或通过第三方调解机构进行调解，以达成双方都能接受的还款协议。
- 法律途径：若协商无果，债权人可以依法向人民法院提起诉讼，通过法律程序来维护自己的合法权益。在诉讼过程中，债权人需要提供充分的证据来证明债务关系的存在以及债务人的违约行为。
- 尊重权益：在讨债过程中，债权人应始终遵守法律法规，尊重债务人的合法权益和人身安全，避免采取任何过激或违法的行为。例如，不得使用暴力、威胁、恐吓等手段，也不得扰乱债务人的正常生活秩序。
特殊情况说明：
- 如果债权人在合理的时间和方式内，与债务人进行友好沟通、协商还款事宜，并且只是因沟通尚未完成等原因暂时停留，没有对债务人及其家属的生活造成严重干扰，那么一般不认定为违法。但这种情况需要债权人谨慎把握，避免越界。
建议与指导：
- 作为债权人，在追讨债务时应保持冷静和理性，以和平、合法的途径来解决问题。
- 如果遇到债务人拒绝还款或无法达成一致意见的情况，应及时咨询专业律师（即向我咨询），了解自己的法律权益和可行的法律途径。
- 在讨债过程中，务必保留好相关证据，如借条、转账记录、聊天记录等，以便在必要时通过法律途径维护自己的权益。
综上所述，债权人到债务人家里不走的行为，若未经允许且严重影响债务人及其家人的正常生活，是违法的。因此，建议债权人在追讨债务时务必遵守法律法规，采取合法手段进行维权。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。