结论概述：针对您描述的情况，首先需明确的是，您签字的行为本身并不直接构成法律上的过错，除非该签字行为违反了相关法律规定或合同约定。对方指责您为“害人精”并无法律依据，但具体责任需根据实际情况分析。以下是从不同角度对问题的详细分析：

一、签字行为的法律性质

1. 合同签署：若您签署的是房屋买卖合同或相关协议，且该合同内容合法、双方意思表示真实，则该合同对双方均具有法律约束力。您签字的行为是履行合同义务的一部分，不构成过错。

2. 签字效力：签字本身是一种法律行为，表示您对合同内容的认可和接受。除非存在欺诈、胁迫等情形导致合同无效或可撤销，否则您的签字行为是有效的。

二、对方指责的法律依据分析

1. 无直接法律依据：对方指责您为“害人精”并无法律上的直接依据。除非您存在故意隐瞒房屋瑕疵、未履行合同义务等违约行为，否则对方无权仅凭您签字就对您进行指责。

2. 可能存在的违约责任：若您在房屋买卖过程中存在违约行为，如未按时交付房屋、隐瞒房屋质量问题等，则可能需承担违约责任。但违约责任的承担需以实际违约行为为前提，而非仅凭签字行为。

三、您可能面临的法律后果及应对建议

1. 若您无违约行为：

   • 无需承担责任：若您已按照合同约定履行了所有义务，且不存在任何违约行为，则无需对对方的无房可住承担责任。
   • 应对指责：对于对方的无理指责，您可以保持冷静，通过沟通解释或寻求第三方调解来化解矛盾。若对方持续骚扰或诽谤，您可以考虑通过法律途径维护自己的名誉权。

2. 若您存在违约行为：

   • 承担违约责任：若您确实存在违约行为，如未按时交付房屋等，则需根据合同约定承担相应的违约责任。这可能包括赔偿对方损失、支付违约金等。
   • 协商解决：在承担违约责任的同时，您可以与对方协商解决方案，如延长交付时间、提供临时住所等，以减轻对方的损失并化解矛盾。

四、后续行动建议

1. 审查合同：仔细审查您签署的房屋买卖合同及相关协议，明确双方的权利义务和违约责任。
2. 收集证据：收集与房屋买卖相关的所有证据，包括合同、付款凭证、沟通记录等，以备不时之需。
3. 寻求法律帮助：若对方持续指责或采取不当行为，您可以向我咨询具体的法律建议，以便更好地维护自己的合法权益。

总结：您签字的行为本身并不直接构成法律上的过错，对方指责您为“害人精”并无法律依据。但具体责任需根据实际情况分析，若您存在违约行为则需承担相应责任。建议您仔细审查合同、收集证据，并在必要时寻求法律帮助。如有任何疑问或需要进一步的法律咨询，请直接向我提问。