结论：在您描述的情况下，若对方老公起诉您，但缺乏证据，从法律程序上讲，其起诉可能面临较大困难，但您仍需谨慎应对，以防对方后续补充证据或采取其他法律手段。以下从多个角度为您详细分析：
一、法律程序角度
起诉条件：根据《中华人民共和国民事诉讼法》的相关规定，起诉需满足一定的条件，包括原告与本案有直接利害关系、有明确的被告、有具体的诉讼请求和事实理由，以及属于人民法院受理民事诉讼的范围和受诉人民法院管辖。若对方老公仅凭怀疑或无实质证据起诉您，可能因缺乏事实理由而不符合起诉条件。
证据规则：在民事诉讼中，证据是认定事实的关键。若对方老公无法提供充分、有效的证据证明您与其妻子存在不正当关系，或该关系对其造成了损害，那么其诉讼请求可能难以得到法院的支持。
二、您可能面临的法律风险及应对
名誉权风险：尽管对方老公可能因缺乏证据而难以在法律上对您构成实质威胁，但其起诉行为本身可能对您的名誉造成一定影响。您可以通过合法途径，如向法院提出反诉或要求对方公开道歉等，来维护自己的名誉权。
证据收集与反制：虽然您目前处于“没有证据”的被动状态，但您可以考虑收集一些有利于自己的证据，如证明您与对方妻子之间并无不正当关系的证据，或对方老公存在恶意诉讼、诽谤等行为的证据。这些证据可以在必要时用于反驳对方的指控或提起反诉。
法律咨询与应对策略：鉴于法律程序的复杂性和不确定性，建议您及时咨询专业律师，了解具体的法律风险和应对策略。律师可以根据您的具体情况，为您提供针对性的法律建议，帮助您制定有效的应对方案。
三、道德与社会角度
道德审视：无论法律程序如何进展，您与已婚女性在一起的行为在道德层面可能受到审视。建议您反思自己的行为，考虑是否会对他人造成伤害，以及是否符合社会道德规范。
社会影响：此类事件往往容易引起社会关注，对您的个人形象和社会评价可能产生负面影响。因此，在处理此类事件时，您需要谨慎考虑自己的言行举止，避免进一步激化矛盾或扩大影响。
建议：面对对方老公的起诉威胁，您应保持冷静和理性，不要轻信或传播未经证实的信息。同时，及时咨询专业律师，了解自己的法律权利和义务，制定有效的应对策略。若您有任何进一步的法律问题或需要进一步的法律帮助，请直接向我咨询。