结论：是否还会被抓取决于您是否涉及相关违法犯罪行为以及证据情况。若您未参与违法活动或无证据证明您参与，一般不会被抓；若您有违法行为且证据确凿，即便已离职仍可能面临法律责任。以下从不同角度详细分析：

从是否涉及违法犯罪行为角度分析

1. 未参与违法犯罪行为
   • 如果您在催收公司工作期间，严格遵守法律法规，没有参与任何非法催收、诈骗、侵犯公民个人信息等违法犯罪活动，那么您与催收公司老板被抓这件事没有法律上的关联。在这种情况下，即使老板被抓，您也不会因为曾经在该公司工作过而被抓。例如，您只是负责公司的行政后勤工作，不涉及任何业务环节，也没有协助他人实施违法犯罪行为，那么您无需担心会被牵连。
2. 参与违法犯罪行为
   • 证据不足的情况：如果您参与了违法犯罪行为，但目前没有足够的证据证明您的参与，那么从法律程序上来说，暂时无法对您采取强制措施。不过，这并不意味着您完全安全，如果后续发现了新的证据，仍然可能会面临法律追究。比如，您参与了非法获取公民个人信息的行为，但当时没有留下明显的痕迹，警方暂时没有掌握相关证据，但随着调查的深入，可能会通过其他途径找到证据指向您。
   • 证据确凿的情况：一旦有充分的证据证明您参与了违法犯罪行为，无论您是否已经离职，都可能面临法律的制裁。根据《中华人民共和国刑法》的相关规定，对于共同犯罪的参与者，都要根据其在犯罪中所起的作用承担相应的刑事责任。例如，您在催收过程中使用了暴力、威胁等手段，且有相关的聊天记录、证人证言等证据证明您的行为，那么您就可能会被依法追究刑事责任。

从法律程序和证据收集角度分析

1. 警方调查阶段
   • 在警方对催收公司老板被抓一案进行调查的过程中，会收集各种证据来确定涉案人员的范围和罪行。如果您没有被列入调查对象，且没有证据显示您与案件有关，那么您一般不会受到调查的影响。但如果警方在调查过程中发现了与您相关的线索，可能会对您进行询问或调查，这并不意味着您一定会被抓，只是为了进一步查明案件事实。
2. 检察机关审查起诉阶段
   • 检察机关会对警方移送的案件进行审查，决定是否对涉案人员提起公诉。如果检察机关认为没有证据证明您参与了违法犯罪行为，或者您的行为不构成犯罪，那么就不会对您提起公诉，您也就不会被追究刑事责任。反之，如果检察机关认为有足够的证据证明您有罪，会向法院提起公诉，您将面临法院的审判。
3. 法院审判阶段
   • 如果案件进入法院审判阶段，法院会根据证据和法律规定对案件进行审理。如果您确实没有参与违法犯罪行为，法院会判决您无罪；如果您被证明有罪，法院会根据您的犯罪情节和法律规定判处相应的刑罚。

建议：如果您担心自己可能涉及相关法律问题，可以主动向警方说明情况，配合调查，以证明自己的清白。同时，保留好自己在公司工作期间的相关证据，如劳动合同、工资条、工作记录等，以备不时之需。如果您还有其他疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据您的具体情况为您提供专业的法律建议。