针对您所描述的情况，即对方披露您的手机号码并声称您造谣他，而您实际上并未这样做，您可以通过以下方式进行反驳：

首先，明确您的立场和事实：

1. 坚称未造谣：明确表明您并未进行任何造谣行为，这是反驳的基础。
2. 收集证据：收集所有能证明您未造谣的证据，如通话记录、短信记录、社交媒体截图等，这些证据在后续反驳中至关重要。

其次，从法律角度进行反驳：

1. 侵犯名誉权：如果对方无端指责您造谣，并公开披露您的手机号码，这可能构成对您名誉权的侵犯。您可以依据《民法典》中关于名誉权保护的规定，要求对方停止侵害、消除影响、赔礼道歉，并赔偿因此造成的损失。
2. 侵犯隐私权：公开披露他人手机号码属于侵犯隐私权的行为。您可以依据《民法典》中关于隐私权保护的规定，要求对方承担侵权责任。

接下来，采取实际行动：

1. 与对方沟通：在收集到足够证据后，您可以尝试与对方进行沟通，明确表达您的立场和事实，并要求对方停止侵害行为。
2. 报警或起诉：如果对方拒绝停止侵害行为，您可以考虑向公安机关报案或向法院提起诉讼，以维护自己的合法权益。

最后，预防未来类似事件：

1. 保护个人信息：加强个人信息保护意识，避免将手机号码等敏感信息随意泄露给不熟悉的人。
2. 及时维权：一旦发现自己的合法权益受到侵害，应及时采取措施进行维权，避免损失扩大。

综上所述，您可以通过明确立场、收集证据、从法律角度进行反驳、采取实际行动以及预防未来类似事件等方式来反驳对方的指控。如果您在维权过程中遇到任何法律问题，可以直接向我咨询。