结论：调解中心打电话来协商，您直接拒绝了，这本身并不违反法律规定，但可能会影响纠纷的解决进程。以下是从不同角度对这一问题的详细分析：

一、拒绝调解的法律后果

1. 无强制效力：调解并非诉讼或仲裁的前置程序，您有权选择是否参与调解。因此，直接拒绝调解并不会导致任何法律上的不利后果，如罚款、拘留等。
2. 可能影响纠纷解决：虽然拒绝调解不会直接产生法律后果，但调解作为一种非诉讼纠纷解决方式，具有灵活、高效、成本低等优点。拒绝调解可能意味着您需要投入更多的时间、精力和金钱来通过诉讼或仲裁解决纠纷。

二、拒绝调解后的可能路径

1. 继续协商：即使您拒绝了调解中心的第一次协商邀请，双方仍然可以自行协商或通过其他渠道进行协商。协商是解决纠纷的一种有效方式，有助于双方达成互利共赢的解决方案。
2. 提起诉讼或仲裁：如果协商无果，您可以选择向法院提起诉讼或向仲裁机构申请仲裁。在诉讼或仲裁过程中，法院或仲裁机构将依法对纠纷进行审理，并作出具有法律效力的裁决。

三、拒绝调解的考虑因素

1. 纠纷性质：对于某些类型的纠纷，如家庭纠纷、邻里纠纷等，调解可能更为合适，因为它有助于维护双方的关系和和谐。而对于一些复杂的商业纠纷或涉及大额财产的纠纷，诉讼或仲裁可能更为必要。
2. 对方态度：如果对方态度诚恳，愿意通过调解解决纠纷，而您却直接拒绝，可能会破坏双方的信任关系，增加后续解决的难度。因此，在拒绝调解前，您可以考虑对方的态度和诚意。
3. 自身利益：在决定是否拒绝调解时，您需要综合考虑自身的利益。如果调解能够为您带来更大的利益或更快的解决纠纷，那么接受调解可能是一个更好的选择。

四、建议与提醒

1. 谨慎决策：在决定是否拒绝调解前，建议您仔细权衡利弊，考虑纠纷的性质、对方的态度以及自身的利益等因素。
2. 保持沟通：即使您拒绝了调解中心的邀请，也建议保持与对方的沟通渠道畅通。这有助于双方及时了解对方的想法和需求，为后续的协商或诉讼/仲裁做好准备。
3. 寻求专业帮助：如果您对拒绝调解后的法律程序或可能面临的法律风险存在疑问，建议您寻求专业律师的帮助。我可以根据您的具体情况提供针对性的法律建议和指导。

最后，拒绝调解是您的权利，但也需要谨慎考虑。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。