结论：造谣您有外遇的人，根据其行为的性质和后果，可能需要承担民事责任，甚至在情节严重的情况下承担刑事责任。以下从民事和刑事两个角度为您详细分析。
一、民事责任
名誉权侵权：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。造谣您有外遇，显然是对您名誉的诽谤，侵犯了您的名誉权。
- 您有权要求造谣者停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿因名誉受损而遭受的损失，包括精神损害赔偿。
证据收集与诉讼：
- 为了维护自己的权益，您需要收集造谣的证据，如聊天记录、录音、视频、证人证言等。
- 您可以向法院提起民事诉讼，要求造谣者承担上述民事责任。在诉讼过程中，法院会根据证据的充分性和真实性，以及造谣行为的恶劣程度，来判定造谣者应承担的具体责任。
二、刑事责任（在情节严重的情况下）
诽谤罪：
- 如果造谣者的行为情节严重，如多次造谣、造谣内容恶劣、造成严重后果等，可能构成诽谤罪。
- 根据《中华人民共和国刑法》的相关规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
刑事自诉与举证：
- 诽谤罪属于告诉才处理的案件，即需要您自己向法院提起刑事自诉。
- 在刑事自诉过程中，您需要承担举证责任，提供充分的证据证明造谣者的行为构成诽谤罪。这包括证明造谣者捏造了事实、公然传播了这些事实、以及这些事实对您的名誉造成了严重损害等。
建议：
- 在面对此类造谣行为时，首先要保持冷静，不要与造谣者发生直接冲突。
- 及时收集并保存相关证据，以便在需要时维护自己的权益。
- 您可以先尝试与造谣者沟通，要求其停止造谣并赔礼道歉。如果沟通无果，再考虑通过法律途径解决。
- 如果您决定提起诉讼或刑事自诉，建议咨询专业律师（即我本人，李凤影律师，专注于婚姻家庭、遗产继承领域），以获取更具体的法律建议和帮助。
最后，希望您能够顺利解决这一问题，维护自己的合法权益。如果您有任何进一步的疑问或需要进一步的法律帮助，请随时向我咨询。