面对对方一直挑衅并以“对方是疯子”为由的情况，你可以从以下几个角度来应对：
保持冷静，避免冲突升级：
- 在面对挑衅时，首要的是保持冷静和理智。情绪化的回应往往容易激化矛盾，导致冲突升级。你可以尝试深呼吸，或者暂时离开现场，以平复自己的情绪。
- 记住，对方的挑衅行为可能正是其试图激怒你、引发冲突的手段。保持冷静，不给予对方期待的反应，是打破其策略的关键。
收集证据，以备不时之需：
- 如果对方的挑衅行为持续不断，甚至涉及侮辱、诽谤等侵犯你人格权的行为，那么收集证据就显得尤为重要。你可以通过录音、录像、拍照或者记录对话内容等方式，保留对方挑衅的证据。
- 这些证据在后续如果需要通过法律途径解决纠纷时，将起到至关重要的作用。它们能够证明对方的行为确实存在，并且对你造成了不良影响。
考虑法律途径，维护自身权益：
- 如果对方的挑衅行为已经严重侵犯了你的人格权，如名誉权、隐私权等，你可以考虑通过法律途径来维护自己的权益。根据《中华人民共和国民法典》的相关规定，自然人享有名誉权、隐私权等人格权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权，不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。
- 你可以向法院提起民事诉讼，要求对方停止侵害、赔礼道歉、消除影响、恢复名誉，并可以要求赔偿损失。如果对方的挑衅行为还涉及治安管理处罚或者刑事犯罪，你还可以向公安机关报案，要求依法处理。
寻求第三方调解或协助：
- 在某些情况下，直接与对方沟通可能难以解决问题。这时，你可以考虑寻求第三方的调解或协助，如社区调解委员会、人民调解组织等。这些机构通常具有专业的调解能力和经验，能够帮助双方达成和解。
- 如果对方的行为已经对你的生活造成了严重影响，你还可以考虑向相关部门或者机构求助，如心理咨询机构、社会救助机构等。他们可以提供必要的支持和帮助，帮助你应对困境。
在处理这类问题时，还需要注意以下几点：
- 避免以暴制暴：无论对方的挑衅行为多么令人愤怒，都不要采取以暴制暴的方式回应。这不仅可能使你陷入法律纠纷，还可能加剧矛盾，导致更严重的后果。
- 保护自身安全：在处理这类问题时，要时刻注意保护自身安全。如果对方的行为已经对你构成了威胁或者伤害，要立即报警并寻求帮助。
- 理性沟通：如果可能的话，尝试与对方进行理性沟通。了解对方挑衅的原因和动机，尝试通过沟通解决问题。当然，这需要在确保自身安全的前提下进行。
最后，我想强调的是，面对挑衅和侵犯人格权的行为，我们既要勇敢维护自己的权益，也要保持冷静和理智。通过合法途径解决问题，才是最明智的选择。如果你有任何疑问或者需要进一步的帮助，请随时向我咨询。