结论：针对别人声称你老婆是他老婆、你岳父是他岳父的情况，若该言论不实且对你或你的家庭造成了名誉损害等不良影响，你可以考虑通过法律途径来维护自己的权益，但直接起诉该言论者可能面临一定挑战，需结合具体情况采取相应措施。

一、名誉权保护角度

1. 名誉权定义：名誉权是指公民或法人保持并维护自己名誉的权利。它是人格权的一种。这些被维护的名誉是指具有人格尊严的名声，是人格的重要内容，受法律的保护。

2. 侵权行为认定：如果别人故意散布不实言论，声称你老婆是他老婆、你岳父是他岳父，且该言论在特定范围内传播，导致你的社会评价降低，那么该行为可能构成对你名誉权的侵害。

3. 法律责任：根据《中华人民共和国民法典》的相关规定，侵害名誉权的，应承担停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等民事责任。

4. 起诉难点：然而，直接起诉该言论者可能面临一定挑战。因为要证明该言论确实对你造成了名誉损害，需要收集充分的证据，如言论传播的范围、影响程度、你的社会评价降低等。此外，如果言论者只是私下说说，并未在公开场合传播，那么起诉的难度可能会更大。

二、采取其他措施

1. 要求停止侵害：你可以首先要求言论者停止散布不实言论，并消除其已经造成的不良影响。

2. 收集证据：如果言论者拒绝停止侵害，你可以开始收集相关证据，如言论的录音、录像、证人证言等，以备将来可能需要的法律程序。

3. 报警处理：如果言论者的行为已经构成了侮辱、诽谤等违法行为，你可以向公安机关报案，要求依法处理。

4. 提起民事诉讼：在收集到充分证据后，你可以考虑向法院提起民事诉讼，要求言论者承担相应的民事责任。但需要注意的是，民事诉讼的周期可能较长，且需要投入一定的时间和精力。

三、建议与注意事项

1. 保持冷静：在面对此类情况时，保持冷静和理智非常重要。不要因为情绪激动而做出过激的行为或言论。

2. 咨询专业律师：虽然我作为胡森轩律师可以为你提供法律咨询，但在具体操作中，每个案件都有其独特性。因此，我建议你咨询专业律师，以便根据具体情况制定合适的维权策略。

3. 注重证据收集：无论采取何种措施，证据都是关键。因此，在处理此类情况时，一定要注重证据的收集和保存。

4. 考虑社会影响：在处理此类情况时，还需要考虑社会影响。避免因为过于激烈的反应而引发不必要的争议和纠纷。