对方在没有事实依据的情况下造谣，可能侵犯了你们的人格权，具体可能涉及名誉权，需要承担相应的法律责任。以下从不同角度为你详细分析：
一、法律责任角度
民事责任：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。如果对方在没有事实依据的情况下，通过言语、文字、图像等方式散布虚假信息，损害了你们的名誉，那么对方就构成了对你们名誉权的侵犯。
- 侵犯名誉权后，你们有权要求对方停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求对方赔偿因此造成的损失。这里的损失包括直接经济损失（如因名誉受损导致的业务减少等）和精神损害赔偿。
行政责任：
- 如果对方的造谣行为情节较轻，尚未构成犯罪，但违反了治安管理处罚法的相关规定，那么公安机关可以对其处以行政处罚，如警告、罚款、拘留等。
刑事责任：
- 如果对方的造谣行为情节严重，构成了犯罪，如诽谤罪，那么对方将面临刑事处罚。根据《中华人民共和国刑法》的规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
二、应对措施角度
收集证据：
- 在采取任何法律行动之前，你们需要收集足够的证据来证明对方的造谣行为。这包括保存相关的聊天记录、社交媒体帖子、录音录像等。证据是维护你们权益的关键。
与对方沟通：
- 在收集到足够证据后，你们可以尝试与对方进行沟通，要求其停止造谣行为并公开道歉。有时候，通过沟通可以解决问题，避免进一步的法律纠纷。
寻求法律帮助：
- 如果对方拒绝沟通或继续造谣，你们可以寻求法律帮助。可以咨询专业律师（比如我），了解具体的法律程序和维权策略。律师会根据你们的具体情况，为你们提供专业的法律建议和帮助。
提起诉讼：
- 如果必要，你们可以向法院提起诉讼，要求对方承担民事责任或刑事责任。在诉讼过程中，你们需要提供充分的证据来证明对方的造谣行为以及因此造成的损失。
三、预防角度
加强自我保护意识：
- 在日常生活中，你们应该加强自我保护意识，避免泄露过多个人信息，减少被造谣的风险。
积极回应谣言：
- 如果发现有人造谣，你们应该积极回应，澄清事实真相，避免谣言进一步传播和扩大影响。
利用法律武器维护权益：
- 不要害怕使用法律武器来维护自己的权益。当你们的名誉权受到侵犯时，有权要求对方承担法律责任，并可以通过法律途径来维护自己的合法权益。
总结来说，对方在没有事实依据的情况下造谣，可能侵犯了你们的人格权，需要承担相应的法律责任。你们可以通过收集证据、与对方沟通、寻求法律帮助和提起诉讼等方式来维护自己的权益。同时，也应该加强自我保护意识，积极回应谣言，并利用法律武器来维护自己的合法权益。如果你还有其他疑问或需要进一步的法律帮助，请直接向我咨询。