结论：公职人员向服务对象借钱后又归还，这一行为本身不一定违法，但需根据具体情况判断是否涉及违法违纪。以下从多个角度进行分析：
一、合法情形
正常借贷关系：
- 如果公职人员与服务对象之间的借贷行为是基于平等自愿、意思表示真实，且借款金额、期限、利息等条款均符合《民法典》等民事法律的相关规定，那么这种借贷行为是合法的。例如，公职人员因临时资金周转需要，向服务对象借款，并签订了正规的借款合同，约定了合理的利息和还款期限，且按时归还了借款，这种行为不构成违法。
无利益输送：
- 借贷过程中，如果公职人员没有利用职务上的便利为服务对象谋取不正当利益，也没有接受服务对象以借款为名的贿赂或不当利益，那么这种借贷行为也是合法的。
二、可能违法违纪的情形
利用职权谋取不正当利益：
- 如果公职人员在借款过程中，利用职务上的便利为服务对象谋取利益，或者以借款为名接受服务对象的贿赂或不当利益，那么这种行为可能构成受贿等违法违纪行为。例如，公职人员作为项目审批部门工作人员，接受服务对象的高额利息借款以换取项目审批通过，这种行为即可能被认定为受贿。
影响公正执行公务：
- 如果借贷行为可能影响公职人员公正执行职务，例如公职人员向可能在其工作中产生利益关联的服务对象大量借款，这可能导致在处理相关事务时面临利益冲突，进而损害公共利益或违反廉洁纪律，那么这种行为也可能被认定为违法违纪。
违反廉洁纪律和相关规定：
- 部分地区或单位对公职人员的民间借贷行为有具体规范和限制。如果公职人员违反这些规定进行借款活动，即使借款已归还，也可能面临纪律处分。例如，某些单位明确规定公职人员不得向服务对象借款，违反者将受纪律处罚。
三、建议与注意事项
确保借贷合法合规：
- 公职人员在向服务对象借款时，应确保借贷行为符合法律法规和廉洁纪律的要求，避免利用职权谋取私利或影响公正执行公务。
签订正规借款合同：
- 借贷双方应签订正规的借款合同，明确借款金额、期限、利息等条款，以保障双方合法权益，并避免后续纠纷。
咨询专业意见：
- 如果公职人员对借贷行为的合法性有疑虑，或者涉及大额资金或复杂的法律关系，建议直接向我咨询，以确保借贷行为的合法合规性。
总结：公职人员向服务对象借钱后又归还，这一行为是否违法需根据具体情况判断。如果借贷行为合法合规，且没有涉及利益输送或影响公正执行公务等问题，那么这种行为是合法的。但如果存在违法违纪情形，则可能面临法律责任和纪律处分。因此，公职人员在借贷时应谨慎行事，确保借贷行为的合法性和合规性。