结论：您在借钱给服务对象并收取利息后，若发现利息高于法定或约定标准，并及时退还高出部分，这一行为本身通常不构成违法违规，但需根据具体情况判断。

一、利息收取的合法性判断

1. 法定利率限制：

   • 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，民间借贷的利率受到法律保护的上限为合同成立时一年期贷款市场报价利率（LPR）的四倍。若您收取的利息超过此上限，则超出部分可能不受法律保护。
   • 示例：假设合同成立时一年期LPR为3.85%，则法律保护的利率上限为15.4%。若您收取的利息为20%，则超出部分（4.6%）可能不受法律保护。

2. 约定利率的合法性：

   • 若您与借款人之间有明确的利息约定，且该约定未超过法定利率上限，则您的利息收取行为是合法的。
   • 注意：即使约定利率合法，若借款人提出异议或认为利率过高，仍可能引发纠纷。因此，在约定利率时，应确保双方对利率有清晰、一致的理解。

二、及时退还高出部分利息的法律后果

1. 避免违法违规：

   • 若您发现收取的利息高于法定或约定标准，并及时退还高出部分，这通常表明您有纠正错误的意愿，且未实际获取非法利益。因此，这一行为本身通常不构成违法违规。
   • 法律背景：根据《民法典》的相关规定，民事主体从事民事活动，应当遵循公平原则，合理确定各方的权利和义务。您及时退还高出部分利息，符合公平原则的要求。

2. 减少纠纷风险：

   • 及时退还高出部分利息，有助于减少与借款人之间的纠纷风险。若借款人已接受退还的利息，且未提出进一步异议，则双方之间的债权债务关系可能得到妥善解决。
   • 建议：在退还高出部分利息时，建议与借款人签订书面协议，明确退还金额、时间等事项，以避免后续纠纷。

三、可能存在的法律风险及防范建议

1. 借款人反悔或提出新要求：

   • 尽管您已及时退还高出部分利息，但借款人仍可能反悔或提出新要求（如要求降低全部利息、赔偿损失等）。为防范此类风险，建议您在退还利息前与借款人充分沟通，并签订书面协议。

2. 其他债权人或第三方提出异议：

   • 若您的借款行为涉及多个债权人或第三方（如担保人、共同借款人等），则其他债权人或第三方可能对您退还高出部分利息的行为提出异议。为防范此类风险，建议您在借款前明确各方的权利和义务，并在退还利息时通知相关方。

总结与建议：您在借钱给服务对象并收取利息后，若发现利息高于法定或约定标准，并及时退还高出部分，这一行为本身通常不构成违法违规。但为避免潜在的法律风险，建议您在借款前明确利率标准、签订书面合同，并在退还高出部分利息时与借款人充分沟通、签订书面协议。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。