结论：您可以拒绝对方律师传话要求去调解的邀请，但需考虑拒绝可能带来的法律后果及对纠纷解决进程的影响。以下是对此问题的详细分析：

一、拒绝调解邀请的法律依据与合理性

1. 自愿原则：根据《中华人民共和国民法典》及相关调解规定，调解应当遵循自愿原则，即当事人有权自主决定是否参与调解，以及调解的方式、内容等。因此，您有权拒绝对方律师传话要求去调解的邀请，这是您的合法权利。

2. 调解的非强制性：调解并非解决纠纷的必经程序，也不是强制性的。如果双方无法达成调解协议，或者一方拒绝调解，纠纷仍然可以通过诉讼等其他途径解决。因此，拒绝调解邀请并不会导致您失去其他解决纠纷的途径。

二、拒绝调解邀请可能产生的后果

1. 纠纷解决进程可能受阻：调解是一种快速、灵活的纠纷解决方式，如果双方能够达成调解协议，可以节省时间和成本。如果您拒绝调解邀请，纠纷可能需要通过诉讼等更正式、更耗时的途径解决，这可能会增加解决纠纷的成本和时间。

2. 对方可能采取其他法律行动：如果您拒绝调解邀请，对方可能会认为您缺乏解决纠纷的诚意，从而采取其他法律行动，如提起诉讼等。这可能会给您带来一定的法律压力和风险。

3. 影响双方关系：在感情纠纷中，拒绝调解邀请可能会进一步加剧双方的对立情绪，影响双方关系的修复和和解的可能性。

三、建议与策略

1. 评估纠纷性质与自身需求：在决定是否拒绝调解邀请前，建议您先评估纠纷的性质、双方的对立程度以及您自身的需求。如果纠纷涉及复杂的事实和法律问题，或者您认为通过调解难以达成满意的解决方案，那么拒绝调解邀请可能是合理的选择。

2. 考虑调解的潜在好处：尽管调解并非强制性的，但它仍然具有许多潜在的好处，如快速解决纠纷、节省成本、保护隐私等。如果您认为调解有可能达成双方都能接受的解决方案，那么接受调解邀请可能是一个明智的选择。

3. 寻求专业法律意见：在决定是否拒绝调解邀请前，建议您咨询专业律师的意见。律师可以根据您的具体情况和纠纷的性质，为您提供更具体、更专业的建议。

4. 保持沟通与协商：即使您决定拒绝调解邀请，也建议您与对方保持沟通与协商的态度。通过沟通，您可以更好地了解对方的需求和立场，为未来的纠纷解决打下良好的基础。

如果您有任何关于婚姻家庭领域的法律问题或需要进一步的法律建议，请随时向我咨询。