结论：被人骂“不配为人”是否可以追究法律责任，需根据具体情况判断。若该辱骂行为构成对人格权的侵害，且满足一定条件，则可以追究法律责任。
分析说明：
人格权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人享有生命权、身体权、健康权、姓名权、肖像权、名誉权、荣誉权、隐私权等人格权。名誉权是人格权的一种，受到法律的保护。
- 当他人的辱骂行为导致你的社会评价降低，即构成对你名誉权的侵害时，你有权要求侵权人承担相应的法律责任。
辱骂行为的性质：
- 辱骂行为是否构成对人格权的侵害，需考虑辱骂的内容、方式、场合以及影响等因素。
- 如果辱骂内容严重，且通过公开场合或广泛传播的方式进行，导致你的社会评价显著降低，那么该行为很可能构成对你名誉权的侵害。
法律责任的追究：
- 若辱骂行为构成对你名誉权的侵害，你可以要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
- 在实际操作中，你需要收集相关证据，如辱骂的录音、录像、文字记录，以及因辱骂行为导致的实际损失证明等，以便在法律程序中证明你的权益受到侵害。
特殊情况考虑：
- 如果辱骂行为发生在特定的法律关系中，如劳动关系、家庭关系等，可能还涉及其他法律条款的适用。
- 另外，如果辱骂行为同时构成违反治安管理处罚法或刑法的行为，如侮辱罪、诽谤罪等，那么侵权人还可能面临行政处罚或刑事处罚。
行动建议：
- 收集证据：首先，你需要收集所有能够证明辱骂行为存在的证据，包括录音、录像、文字记录等。
- 评估损失：评估因辱骂行为导致的实际损失，包括精神损害、名誉损害等，以便在要求赔偿时提供依据。
- 寻求法律帮助：如果你认为自己的权益受到侵害，且无法通过协商解决问题，可以向我咨询，我会根据你的具体情况提供专业的法律建议和帮助。
后续法律程序：
- 如果决定追究法律责任，你可能需要向法院提起民事诉讼，要求侵权人承担相应的法律责任。
- 在诉讼过程中，你需要提供充分的证据证明你的权益受到侵害，以及侵权人的行为与你的损失之间存在因果关系。
注意事项：
- 在处理此类纠纷时，请保持冷静和理性，避免采取过激行为导致纠纷升级。
- 法律程序可能较为复杂和耗时，请做好充分的准备和耐心。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。