遇到这种情况，不必直接“怼”，但可以通过合法合理的方式维护自身权益和尊严，以下从法律和沟通角度给出建议：
明确拒绝并表明立场
可以冷静回应：“亲子关系是严肃的法律和伦理问题，没有证据的猜测是对我和家人的侮辱。如果你有合理怀疑，请通过法律途径（如起诉）要求鉴定，否则请停止传播不实言论。”
法律依据：根据《民法典》第1073条，对亲子关系有异议的，可提起诉讼要求确认，但举证责任在主张方。若对方无证据恶意造谣，可能构成名誉权侵权（《民法典》第1024条）。
保留证据，防范风险
若对方持续散布谣言（如微信、口头传播），需录音、截图或找证人，固定证据。若造成严重后果（如社会评价降低、家庭关系破裂），可起诉要求赔礼道歉、赔偿精神损失。
案例参考：司法实践中，恶意诽谤他人亲子关系被判侵权赔偿的案例并不少见，法院会综合传播范围、影响程度判定赔偿金额。
从情感角度沟通（如对方是亲友）
若对方是熟人，可私下严肃告知：“孩子是我的底线，你的话已伤害我和家人。若真有疑虑，我理解你需确认，但请通过正规法律程序，而非私下传播。”
心理提示：情绪化反击可能激化矛盾，理性回应更能维护自身形象，同时让对方意识到行为的严重性。
若涉及家庭内部矛盾（如配偶怀疑）
需谨慎处理，建议先与配偶沟通，了解其真实顾虑。若配偶无端怀疑，可共同咨询心理医生或家庭关系专家；若矛盾无法调和，可依据《民法典》第1079条，以“感情破裂”为由起诉离婚，并主张损害赔偿（若对方存在过错）。
总结：面对无端质疑，无需争吵，但需用法律武器保护自己。若对方行为越界，果断固定证据并维权；若属误会，理性沟通化解矛盾。如有进一步法律问题（如证据收集、诉讼流程），可直接向我咨询。