结论：面对因打牌差老板钱而被上门骚扰家人的情况，您首先应当明确这种骚扰行为是违法的，并可以通过多种途径来维护自己和家人的合法权益。以下是从不同角度给出的详细分析和建议：
一、法律角度分析
骚扰行为的违法性：
- 根据《中华人民共和国治安管理处罚法》的相关规定，任何形式的骚扰、威胁、恐吓他人，干扰他人正常生活的行为，都是违法的。老板上门骚扰您的家人，显然违反了这一法律规定。
人格权保护：
- 您和您的家人享有的人格权受法律保护，包括名誉权、隐私权、住宅不受侵犯等。老板的骚扰行为可能侵犯了您和您家人的人格权，您有权要求停止侵害、赔礼道歉，并可以寻求法律救济。
二、应对措施建议
立即报警：
- 当老板上门骚扰您的家人时，您应立即报警，让警方介入处理。警方会根据情况对骚扰者进行警告、罚款或拘留等处罚，从而有效制止骚扰行为。
收集证据：
- 在报警的同时，您应尽可能收集相关证据，如骚扰者的言行记录、现场照片或视频等。这些证据将有助于警方处理案件，并在后续的法律程序中为您和您的家人提供有力支持。
寻求法律援助：
- 如果骚扰行为持续不断，或者给您和您的家人造成了严重的精神损害，您可以考虑寻求法律援助。您可以咨询专业律师（比如我，田小华律师，擅长处理各类侵权纠纷），了解您的法律权益和可能的救济途径。律师将能够为您提供专业的法律建议，并帮助您制定合适的维权策略。
与老板协商解决：
- 在采取法律手段之前，您也可以尝试与老板进行协商，寻求和解的可能性。您可以向老板说明您的困境和还款计划，并请求其停止骚扰行为。如果老板同意和解，双方可以签订书面协议，明确还款计划和停止骚扰的承诺。
三、后续行动建议
加强家庭安全防范：
- 为了防止类似事件再次发生，您应加强家庭安全防范措施，如安装防盗门、监控摄像头等。同时，提醒家人注意安全，避免与骚扰者发生直接冲突。
关注家人心理健康：
- 骚扰行为可能给您的家人带来严重的心理压力和创伤。因此，您应关注家人的心理健康状况，及时给予关爱和支持。如果家人出现焦虑、抑郁等情绪问题，您可以考虑寻求专业心理咨询师的帮助。
最后，面对因打牌差钱而被上门骚扰家人的情况，您应保持冷静、勇敢面对，并采取合适的措施来维护自己和家人的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。