人民调解委员会的调解书被告在三年以后一般难以推翻，但存在特定情形时，仍有可能通过法律途径寻求救济。以下从不同角度进行详细分析：
一、调解书的法律效力
人民调解委员会的调解书，一旦双方当事人签字确认，即具有法律效力。这意味着，调解书所确定的权利义务关系对双方均具有约束力，当事人应当按照调解书的内容履行各自的义务。在正常情况下，调解书生效后，当事人不得随意反悔或推翻。
二、推翻调解书的法定情形
尽管调解书具有法律效力，但在某些特定情形下，当事人仍有可能通过法律途径推翻调解书。这些情形主要包括：
欺诈、胁迫等违背真实意思的情况：
- 如果当事人在调解过程中受到欺诈、胁迫等手段的影响，导致违背真实意思签订调解协议，那么该调解协议可能被视为无效或可撤销。
- 在此情况下，当事人可以在知道或应当知道撤销事由之日起的一定期限内（通常为一年，但具体期限可能因地区或案件类型而异，且需注意与诉讼时效的区分），向人民法院申请撤销调解书。不过，若超过此期限，除非能证明存在其他特殊情形，否则法院通常不会受理撤销申请。但值得注意的是，若存在新证据足以推翻原调解协议，且符合再审条件，当事人仍可尝试申请再审，不过这在实际操作中难度较大。
违反法律强制性规定：
- 如果调解书的内容违反了法律的强制性规定，如涉及非法活动、损害国家利益或社会公共利益等，那么该调解书可能被视为无效。
- 在此情况下，当事人或相关利益方可以向人民法院申请宣告调解书无效。
三、三年后推翻调解书的难度
- 时间因素：从时间角度来看，调解书生效三年后，当事人想要推翻调解书的难度会显著增加。因为随着时间的推移，证据可能灭失或变得难以获取，当事人的记忆也可能变得模糊，这都不利于推翻调解书的申请。
- 法律程序：即使当事人认为存在推翻调解书的法定情形，也需要通过严格的法律程序来实现。这包括向人民法院提交再审申请、提供充分的证据材料、经过法院的审查和裁决等。这些程序不仅耗时耗力，而且结果具有不确定性。
四、建议与风险提示
- 及时行使权利：如果当事人认为调解书存在可撤销或无效的情形，应当及时行使权利，避免超过法定的申请期限。
- 充分准备证据：在申请推翻调解书时，当事人需要提供充分的证据材料来支持自己的主张。这包括但不限于调解过程中的录音录像、书面证据、证人证言等。
- 谨慎评估风险：推翻调解书是一项复杂的法律行为，涉及多方面的法律风险和后果。当事人在决定是否申请推翻调解书时，应当谨慎评估风险，并咨询专业律师的意见。
如有任何关于人民调解委员会调解书或其他法律问题的疑问，可以直接向我咨询。我将根据您的具体情况，提供专业、全面的法律建议。