结论：异地调解是否可以不去，需根据调解的性质和具体情况来判断。以下从不同角度进行分析：
诉讼中的调解：
- 法律背景：在诉讼过程中，法院可能会组织双方当事人进行调解，以达成和解协议，解决纠纷。这种调解通常具有强制性，即当事人应当参加，但并不意味着必须接受调解结果。
- 法律建议：如果您收到法院的调解通知，原则上应当参加。因为缺席调解可能会被视为对调解程序的阻碍，甚至可能影响法院对案件的判断。然而，如果您有充分的理由无法参加（如健康原因、不可抗力等），应及时向法院说明情况，并申请延期或采用其他方式参与调解。
- 可能后果：如果您无正当理由拒绝参加调解，法院可能会继续审理案件，并作出判决。在某些情况下，拒绝调解可能会被视为对诉讼程序的不配合，影响您在诉讼中的形象和权益。
非诉讼调解（如人民调解、行政调解等）：
- 法律背景：非诉讼调解通常是在诉讼之外，由第三方机构或个人（如人民调解委员会、行政机关等）组织的，旨在通过协商、妥协等方式解决纠纷。这种调解通常不具有强制性，当事人可以自愿选择是否参加。
- 法律建议：如果您收到非诉讼调解的邀请或通知，您可以根据自己的意愿和实际情况决定是否参加。如果您认为调解有助于解决纠纷，且愿意与对方进行协商，那么参加调解是一个不错的选择。如果您认为调解无法解决问题，或者不愿意与对方进行协商，那么您可以拒绝参加。
- 可能后果：拒绝参加非诉讼调解通常不会对您产生直接的负面影响。然而，如果您拒绝调解后，纠纷无法得到妥善解决，可能会引发更进一步的法律程序（如诉讼），增加解决纠纷的成本和时间。
综合建议：
- 在面对异地调解时，您首先需要明确调解的性质（是诉讼中的调解还是非诉讼调解）。
- 如果是诉讼中的调解，且您没有充分的理由无法参加，建议您尽量参加，以便更好地维护自己的权益。
- 如果是非诉讼调解，您可以根据自己的意愿和实际情况决定是否参加。
- 在任何情况下，如果您对调解程序或结果有疑问或不满，都可以及时咨询专业律师（如我），以便获得更具体的法律建议和帮助。
如有任何法律问题或需要进一步的法律咨询，请直接向我提问。