结论：去借款人家里要钱本身并不必然违法，但关键在于行为方式是否合法、合理。和平、理性且合法的方式是允许的，而采取不当行为则可能触犯法律。以下从多个角度为您详细分析：
一、合法要账行为
和平沟通协商：
- 债权人可以平和地到借款人家中，通过合理、合法的方式与借款人沟通协商，要求其偿还债务。例如，友好地提醒还款时间、说明债务情况、表达自己的需求等，均属于合法行为。
- 法律依据：债权人有权向债务人主张债权，这是合法的。在行使这一权利时，只要遵守法律和道德规范，不侵犯债务人的合法权益，就是被允许的。
协商调解：
- 在平等自愿的基础上，债权人与借款人可以进行协商，共同探讨还款方案。这种方式成本较低，易于执行，且有助于维护双方的关系。
二、可能违法的要账行为及法律后果
非法侵入住宅：
- 具体表现：未经借款人同意，强行进入其住宅，或者进入后经要求仍拒不退出。
- 法律后果：根据《中华人民共和国刑法》第二百四十五条，可能构成非法侵入住宅罪，处三年以下有期徒刑或者拘役。同时，根据《中华人民共和国治安管理处罚法》第四十条，也可能面临十日以上十五日以下拘留，并处五百元以上一千元以下罚款的处罚。
暴力或威胁行为：
- 具体表现：对借款人及其家人实施殴打、伤害等暴力行为或以暴力相威胁。
- 法律后果：不仅违反《中华人民共和国治安管理处罚法》，还可能触犯《刑法》中的故意伤害罪、寻衅滋事罪等罪名。具体处罚依据伤害程度而定，从拘留罚款到有期徒刑不等。
侮辱、诽谤：
- 具体表现：在追讨过程中对借款人进行侮辱、诽谤，损害其名誉权。
- 法律后果：需承担民事责任，如停止侵害、恢复名誉、消除影响、赔礼道歉、赔偿损失等。情节严重的，还可能构成侮辱罪或诽谤罪。
干扰他人正常生活：
- 具体表现：采用高音喇叭喧哗、张贴大字报、持续不断打骚扰电话等方式在借款人家中或住宅周围进行滋扰，严重影响借款人的正常生活和工作秩序。
- 法律后果：需承担侵权责任，可能面临民事赔偿。同时，根据《中华人民共和国治安管理处罚法》的相关规定，也可能受到行政处罚。
三、合法解决途径建议
民事诉讼：
- 如果协商无果，债权人可以通过向人民法院提起民事诉讼来追讨债务。法院将依法审理并作出判决，保障双方合法权益。经法院判决后，若借款人仍不偿还，可申请法院强制执行。
仲裁：
- 根据双方约定或法律规定，债权人可以申请仲裁机构进行仲裁。仲裁裁决具有法律效力，可执行性强。
协商与调解：
- 在提起诉讼或仲裁前，可以尝试通过第三方调解机构或社区组织进行调解，以达成和解协议，降低解决成本。
四、特别提醒
- 保持冷静理性：在处理债务问题时，债权人应保持冷静理性，避免采取过激行为。任何违法行为都将受到法律制裁，并可能给自己带来不必要的麻烦。
- 寻求专业帮助：如果您在追讨债务过程中遇到法律难题或不确定如何行使自己的权利，可以直接向我咨询。我将根据您的具体情况给出合适的建议和指导。
总结：去借款人家里要钱本身并不违法，但必须确保行为方式合法、合理。债权人应优先通过法律途径解决债务问题，避免采取任何过激或非法手段。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。