针对您提出的“怎么能让调解书无效但我签字了”这一问题，首先需要明确的是，调解书一旦签字，通常意味着您已经认可了其中的内容，并愿意按照其约定来履行。然而，在特定情形下，调解书是可以被认定无效或撤销的。以下是一些可能导致调解书无效的情形，以及相应的维权途径：
一、调解书可能无效的情形
违反自愿原则：
- 如果在调解过程中，您受到了欺诈、胁迫等不正当手段的影响，并非出于真实自愿而签署了调解书，那么该调解书是可以被认定无效的。例如，如果有人以威胁您或您家人的安全为手段，迫使您签字，这就构成了胁迫。
内容违法：
- 调解协议的内容必须合法，不得违反法律法规的强制性规定、社会公共利益，或损害国家、集体、他人的合法权益。如果调解书中的内容涉及非法交易、侵犯知识产权等违法行为，那么该调解书将被认定无效。
主体不适格：
- 签署调解书的主体必须具备相应的民事行为能力。如果您是无民事行为能力人（如不满八周岁的未成年人、不能辨认自己行为的成年人），且在没有法定代理人代理的情况下签署了调解书，那么该调解书是无效的。
重大误解或显失公平：
- 如果您在签署调解书时，对协议的内容、性质、后果等存在重大误解，或者协议内容显失公平，严重损害了您的利益，那么您可以向法院申请撤销该调解书。
程序违法：
- 调解程序必须合法进行。如果在调解过程中存在未经您同意、违反法律程序等情况，您也可以申请让调解书无效。
二、维权途径
向法院提出申请：
- 如果您认为调解书存在上述无效情形之一，可以向法院提出申请，请求确认调解书无效或撤销调解书。法院将审查您提供的证据和事实，并作出相应的判决。
收集证据：
- 在申请确认调解书无效或撤销调解书时，您需要提供充分的证据来支持您的主张。这可能包括调解过程中的录音、录像、证人证言等。
寻求法律援助：
- 如果您对法律程序不熟悉或感到困惑，可以寻求法律援助或咨询专业律师。他们可以为您提供法律建议和指导，帮助您更好地维护自己的合法权益。
三、注意事项
- 在申请确认调解书无效或撤销调解书时，请务必在规定的期限内提出申请，以免错过维权时机。
- 调解书无效或撤销后，原纠纷并未得到解决。您可能需要通过诉讼、重新调解或和解等方式来继续解决争议。
总之，虽然您已经签署了调解书，但在特定情形下，该调解书仍然有可能被认定无效或撤销。如果您认为调解书存在无效情形之一，请及时向法院提出申请，并收集充分的证据来支持您的主张。同时，也可以寻求法律援助或咨询专业律师来帮助您更好地维护自己的合法权益。