结论：父亲骂你“坐过牢”这一行为，是否构成侵权损害（人格权），需结合具体情境来判断。若该言论不属实且对你造成了名誉损害，可能构成名誉权侵权；若言论属实，则一般不构成侵权，但可能涉及其他家庭关系问题。
分析：
名誉权侵权的角度：
- 名誉权定义：名誉权是指公民或法人保持并维护自己名誉的权利。它是人格权的一种，受到法律的保护。
- 侵权构成要件：要构成名誉权侵权，通常需要满足四个要件：一是行为人实施了侮辱、诽谤等损害他人名誉的行为；二是该行为指向特定的对象；三是该行为为第三人所知悉；四是受害人的社会评价因行为人的行为而降低。
- 应用到本案：如果父亲骂你“坐过牢”的言论是不属实的，且该言论被他人知悉，导致你的社会评价降低，那么可能构成名誉权侵权。你有权要求父亲停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
言论属实的情况：
- 一般原则：如果父亲骂你“坐过牢”的言论是属实的，那么该言论本身并不构成侵权。因为真实的信息披露，通常不构成对名誉权的侵害。
- 例外情况：然而，即使言论属实，如果父亲以恶意或侮辱性的方式表达，且该方式超出了正常家庭交流的范畴，可能仍然对你造成精神上的伤害。在这种情况下，虽然不构成名誉权侵权，但你可以考虑通过家庭沟通、心理咨询等方式来解决问题。
家庭关系与法律救济的平衡：
- 家庭关系特殊性：家庭关系具有其特殊性，法律在介入家庭纠纷时通常持谨慎态度。在处理此类问题时，应优先考虑通过家庭沟通、调解等方式来解决矛盾。
- 法律救济途径：如果家庭沟通无果，且你认为自己的权益受到了严重侵害，你可以考虑寻求法律救济。但在此之前，建议咨询专业律师，了解具体的法律程序和可能的结果。
建议：
- 与父亲沟通：首先尝试与父亲进行平和的沟通，解释你的感受和立场，寻求相互理解和尊重。
- 寻求家庭调解：如果沟通无果，可以考虑寻求家庭调解或心理咨询的帮助，以改善家庭关系。
- 咨询专业律师：如果你认为自己的名誉权受到了侵害，且家庭调解无法解决问题，可以咨询专业律师，了解具体的法律途径和维权策略。
后续行动：
- 在采取任何法律行动之前，请确保收集足够的证据来支持你的主张，如录音、证人证言等。
- 保持冷静和理性，避免在情绪激动的情况下做出冲动的决定。
如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。