结论：您无需为前夫的借贷债务承担还款责任，但面对催债骚扰，可通过以下方式维护自身权益：

1. 明确法律责任边界
   根据《民法典》第1064条，夫妻共同债务需满足“共债共签”或“事后追认”条件，或债务用于家庭共同生活。若借贷发生在离婚后，或虽发生在婚姻存续期间但未用于家庭共同生活（如前夫个人挥霍、赌博等），您无需承担还款责任。即使催债方声称“留了您的电话就需担责”，该说法无法律依据。

2. 应对催债骚扰的具体措施

   • 要求催债方停止侵权：通过书面形式（如短信、邮件）明确告知催债方：“本人与债务人已离婚，对该债务不知情且未使用，要求立即停止联系本人，否则将追究法律责任。”
     
   • 留存证据：保存所有催债记录（电话录音、短信、聊天记录等），尤其是对方威胁、辱骂或泄露您个人信息的证据，后续可能用于维权。
     
   • 投诉举报：若催债方通过频繁拨打、辱骂、骚扰亲友等方式施压，可向当地银保监会（针对银行或持牌机构）、互联网金融协会（针对网贷平台）投诉，或拨打12321网络不良信息举报中心电话举报骚扰行为。
     
   • 报警处理：若催债方实施威胁、恐吓、泄露隐私等违法行为（如将您的信息公布到网络），可直接报警，依据《治安管理处罚法》第42条，对方可能面临拘留或罚款。

3. 特殊情形处理

   • 若借贷发生在婚姻存续期间：需进一步核实债务用途。若您能证明债务未用于家庭共同生活（如前夫单方大额借贷且未告知您），仍无需担责；若无法证明，可能被认定为共同债务，但您承担还款责任后，可向前夫追偿。
     
   • 若您曾为前夫担保：需查看担保合同条款。若为一般保证，您享有先诉抗辩权（即债权人需先向债务人追偿，无法清偿时才能要求您承担责任）；若为连带责任保证，债权人可直接要求您还款，但您还款后仍可向前夫追偿。

建议：若催债行为持续且严重影响生活，可携带离婚协议、债务未用于家庭生活的证据（如前夫消费记录、借贷时间与婚姻存续期不重合的证明等），委托律师向催债方发送律师函，或直接向法院起诉要求停止侵权、赔偿损失。如有进一步疑问，可直接向我咨询具体操作流程。