结论：在仅有催收骚扰电话号码而不知具体身份的情况下，能否控告对方损害名誉权，需分情况讨论。一般来说，仅凭号码难以直接控告，但可通过一定途径收集证据后尝试维权。以下从不同角度详细分析：
一、名誉权侵权的构成要件
名誉权侵权通常需满足以下构成要件：
- 行为人实施了侮辱、诽谤等损害他人名誉的行为：如通过电话、短信等方式对他人进行辱骂、诋毁。
- 该行为指向特定的受害人：即行为人明确知道或应当知道其行为是针对特定个人的。
- 行为为第三人所知悉：即损害名誉的行为被不特定的第三人所知晓，导致受害人的社会评价降低。
- 行为人主观上具有过错：包括故意和过失，即行为人明知或应知其行为会损害他人名誉而仍然实施。
二、仅有号码难以直接控告的原因
- 身份不明：在仅有催收骚扰电话号码的情况下，难以确定行为人的具体身份，也就无法直接将其作为被告进行控告。
- 证据不足：名誉权侵权需要充分的证据支持，包括行为人的身份信息、侵权行为的具体内容、侵权行为的影响范围等。仅有号码难以提供这些必要的证据。
三、可能的维权途径
收集证据：
- 录音录像：如果催收电话有录音功能，可以尝试录制通话内容作为证据。
- 短信截图：保存催收短信的截图，特别是包含侮辱、诽谤内容的短信。
- 证人证言：如果催收行为被他人目击或知晓，可以尝试获取证人证言。
- 其他证据：如通过技术手段追踪号码的归属地、使用人信息等（需合法合规）。
向相关部门投诉：
- 向运营商投诉：可以联系电话号码的运营商，投诉该号码存在骚扰行为，要求运营商协助调查或采取措施。
- 向公安机关报案：如果催收行为涉嫌违法（如侮辱、诽谤、敲诈勒索等），可以向公安机关报案，由公安机关进行调查处理。
提起民事诉讼：
- 在收集到足够证据后：如果能够确定行为人的身份，并且收集到了充分的证据证明其存在名誉权侵权行为，可以向法院提起民事诉讼，要求行为人承担侵权责任。
- 申请法院调查取证：在诉讼过程中，如果确实无法自行收集到行为人的身份信息等关键证据，可以申请法院进行调查取证。
四、法律建议
- 保持冷静：在面对催收骚扰时，保持冷静和理智，不要与催收人员发生冲突或争吵。
- 及时取证：尽可能收集并保存与催收行为相关的所有证据，包括通话记录、短信截图、录音录像等。
- 寻求帮助：如果催收行为严重影响到你的生活和工作，可以及时向家人、朋友或专业人士寻求帮助和支持。
- 合法维权：在维权过程中，务必遵守法律法规和道德规范，不要采取过激或违法的行为。
最后，如果你在处理此类问题时遇到任何困难或疑问，可以直接向我咨询。我会根据你的具体情况提供专业的法律建议和帮助。