结论：是否签署调解协议，取决于协议内容是否合法合理以及您自身的意愿，并非因为涉及“打了小三”这样的私人纠纷就可以随意不签。以下从多个角度进行分析：
一、调解协议的法律性质与效力
调解协议是双方当事人在平等、自愿的基础上，通过协商达成的解决纠纷的协议。一旦双方签字确认，调解协议即具有法律约束力，双方应当按照协议内容履行各自的义务。如果一方不履行调解协议，另一方有权依法向人民法院提起诉讼，要求对方履行或者承担违约责任。
二、关于“打了小三”与调解协议的关系
私人纠纷与法律义务的区分：
- “打了小三”这一行为，如果构成违法或犯罪（如故意伤害罪），将受到法律的制裁，但这与您是否签署调解协议没有直接的法律联系。调解协议主要解决的是您与对方（如配偶、小三或其他相关方）之间的民事纠纷，如财产分割、赔偿等。
- 私人纠纷不能成为拒绝签署合法调解协议的理由。如果调解协议内容合法、合理，且您自愿签署，那么您应当履行协议义务。
调解协议内容的合法性审查：
- 在签署调解协议前，您有权对协议内容进行审查，确保协议内容不违反法律法规的强制性规定，不损害国家、集体或第三人的利益。
- 如果协议内容存在违法或不合理之处，您有权拒绝签署，并可以通过法律途径维护自己的合法权益。
三、不签署调解协议的可能后果
如果调解协议合法合理：
- 您拒绝签署可能导致调解失败，双方无法通过协商解决纠纷。
- 对方可能因此向人民法院提起诉讼，要求您承担相应的法律责任。
如果调解协议存在违法或不合理之处：
- 您拒绝签署是合理的，且可以通过法律途径主张自己的权益。
- 在此情况下，您可以向调解机构或人民法院提出异议，要求修改或撤销调解协议。
四、建议与措施
仔细审查调解协议内容：
- 在签署前，务必仔细阅读协议条款，确保自己完全理解并同意协议内容。
- 如有疑问或不确定之处，可以咨询专业律师或法律机构，以获取专业的法律意见。
考虑自身权益与义务：
- 在签署调解协议时，要充分考虑自己的权益和义务，确保协议内容不会对自己造成不合理的负担或损失。
- 如果协议内容涉及复杂的法律问题或财产分割等敏感事项，建议寻求专业律师的协助。
保持冷静与理性：
- 在处理私人纠纷时，要保持冷静和理性，避免情绪化决策。
- 通过合法途径解决纠纷，维护自己的合法权益和尊严。
如果您在签署调解协议过程中遇到任何法律问题或困惑，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。