结论：在您描述的情况下，他的原配在特定条件下是可以起诉您的，但具体是否构成侵权或违法，以及可能面临的法律后果，需根据实际情况详细分析。
分析如下：
从民事侵权角度分析：
- 如果您与有家的男人（即已婚男性）保持不正当关系，且这种关系对原配造成了精神损害，原配在理论上是有权向您提起民事侵权诉讼的，尤其是当这种行为被认定为破坏婚姻关系、侵犯配偶权时。但在实际操作中，要证明这种精神损害以及您与已婚男性之间的关系是导致损害的直接原因，可能存在一定的难度。
- 法律依据：虽然直接的“第三者”侵权法律条款可能并不明确，但根据《中华人民共和国民法典》中关于人格权、婚姻家庭等章节的原则性规定，可以推导出保护婚姻关系、禁止破坏他人婚姻的行为是法律所倡导的。
从道德和社会舆论角度分析：
- 即便法律上可能不直接追究您的责任，但您的行为无疑会受到道德和社会舆论的谴责。这种谴责可能对您的个人声誉、社交关系等产生负面影响。
特殊情况下的法律责任：
- 如果您与已婚男性以夫妻名义共同生活，或者明知对方有配偶而与之结婚（即构成重婚），那么您将可能面临刑事责任的追究。根据《中华人民共和国刑法》的相关规定，重婚罪是可以被判刑的。
- 重婚罪构成要件：有配偶而重婚的，或者明知他人有配偶而与之结婚的，构成重婚罪。这里的“结婚”既包括法律婚（即办理结婚登记），也包括事实婚（即以夫妻名义共同生活）。
建议：
- 避免涉及不正当关系：从法律和道德的角度出发，建议您避免与有家的男人保持不正当关系，以免给自己和他人带来不必要的麻烦和伤害。
- 尊重他人婚姻：婚姻是受法律保护的制度，尊重他人的婚姻也是尊重自己和他人的基本权利。
- 寻求合法途径解决情感问题：如果您在情感上遇到了困扰或问题，建议寻求合法、正当的途径来解决，如心理咨询、朋友倾诉等。
后续行动指南：
- 如果您已经陷入了这样的关系中，并且担心可能面临的法律后果，建议您尽快结束这种关系，并咨询专业律师以了解您的具体法律风险和应对策略。
- 如果您被原配起诉或面临其他法律纠纷，请务必及时寻求法律援助，以保护自己的合法权益。
希望以上分析能对您有所帮助。如果您有任何其他法律问题或需要进一步的法律咨询，请随时向我提问。