针对您提出的“催收一直用私人号码发短信给老板”这一问题，这确实是一个需要妥善处理的情况，不仅关乎您的个人权益，也可能影响到您与老板的关系以及工作环境。以下是我为您整理的一套详细解决方案：
一、保留证据
短信记录：首先，不要删除这些催收短信，它们是重要的证据。您可以通过手机截图、转发到电子邮箱或者使用云存储等方式，完整保存这些短信内容，包括发送时间、发送号码以及短信的具体文字内容。
通话记录与录音：如果催收方还通过电话进行联系，您也应该标记该号码并保留通话信息。如果您的手机支持通话录音功能，不妨开启它，以备后续需要。
二、冷静应对与明确回复
保持冷静：面对催收短信，保持冷静是非常重要的。不要惊慌失措，更不要因为情绪激动而做出不理智的回应。
不直接回应威胁：虽然您可能很想直接回复这些短信，但我不建议您这样做。直接回应可能会暴露更多个人信息，甚至激化矛盾。不过，您可以通过书面方式（如短信或邮件）表明您的立场，告知对方其行为违法，并要求其立即停止。
三、确认发送者身份
在采取进一步行动之前，您需要尝试确认这些催收短信是否真的来自合法的催收机构，还是诈骗活动。您可以通过查询发送号码的归属地、联系相关金融机构进行核实等方式来识别真伪。同时，务必保护好您的个人信息，避免被不法分子利用。
四、联系相关机构
金融机构：如果催收行为与某金融机构相关，您应该立即联系该机构的客服部门，详细描述您的情况，并提供您所保留的证据。要求该机构对其催收行为进行监管和制止，并给出合理的解决方案。
监管部门：您还可以向当地的金融监管部门（如中国银保监会）或消费者保护局报告此事。在报告时，请清晰阐述事件经过，并提供您所保留的证据。对于网络借贷问题，您还可以向地方金融监管部门或互联网金融协会进行投诉。
五、寻求法律帮助
咨询律师：如果催收行为持续不断，且严重影响了您的生活和工作，我建议您咨询专业律师。您可以携带您所保留的证据前往律师事务所，详细说明您的情况，并获取专业的法律建议和解决方案。
提起诉讼或报案：在律师的指导下，您可以根据具体情况考虑向法院提起民事诉讼，要求催收方承担相应的法律责任。如果催收方的行为涉嫌刑事犯罪（如敲诈勒索），您应立即向公安机关报案，由公安机关进行处理。
六、加强个人信息安全
保护信息：为了避免类似情况再次发生，您需要确保您的个人信息不轻易泄露。不要随意将您的个人信息提供给不可信的第三方，定期检查您的银行账户和信用报告，防止因信息盗用导致的不必要麻烦。
警惕诈骗：提高警惕，防范各类诈骗行为。不要轻信陌生人的信息和链接，避免点击来源不明的邮件或短信中的链接，以免陷入诈骗陷阱。
综上所述，面对催收使用私人号码发短信给老板的情况，您应保持冷静、保留证据、确认身份、联系相关机构、寻求法律帮助，并加强个人信息安全。这些措施将帮助您有效应对威胁，维护自己的合法权益。希望这些建议能对您有所帮助。