关于“别人来送礼品，我退钱给他，是否算违纪”的问题，这主要取决于具体的情境和相关的规定，以下分情况讨论：
如果是在私人交往或正常社交场合：
- 在这种情况下，别人送礼品，你选择退钱给他，通常并不构成违纪。这更多是一种个人选择，可能出于不想接受礼品、避免欠人情或其他个人原因。这种行为在道德和法律上通常都是被接受的，因为它不涉及任何违法或违规的行为。
如果是在工作场合或涉及公务活动：
- 若单位有明确规定禁止收受礼品或礼金：在这种情况下，即使你选择退钱，但如果原本就不应该接受礼品，那么你的行为（虽然退钱了）可能仍然触犯了单位的规定，但严格意义上不算“违纪”的违法行为，而是违反了单位内部的管理规定。不过，具体是否构成违纪还需根据单位的具体规定和解释来判断。
- 若涉及利益输送或贿赂：如果送礼品的人有明确的利益诉求，且你退钱的行为被视为一种“变相接受”或“掩盖受贿行为”的手段（尽管实际上你可能并没有这样的意图），那么这种情况可能涉及更严重的法律问题，如受贿或行贿。但这种情况需要具体的证据和情境来支持，不能仅凭退钱这一行为就断定。
- 若单位无明确规定但存在潜在利益冲突：即使单位没有明确规定禁止收受礼品，但如果送礼品的人与你的工作有直接或间接的利益关系，且你的退钱行为可能被视为对这种利益关系的处理不当，那么也可能引发一些职场上的争议或问题。不过，这通常更多属于职场道德和职业操守的范畴，而非严格的法律违纪。
法律建议：
- 在任何情况下，如果你对是否应该接受礼品或退钱感到困惑，最好先咨询所在单位的相关规定或上级的意见。
- 如果涉及工作场合或公务活动，且送礼品的人与你有利益关系，建议谨慎处理，避免给自己带来不必要的麻烦。
- 如果你认为自己的行为可能涉及法律问题或职场争议，可以寻求法律专业人士的帮助，以更准确地了解自己的权利和义务。
总结：别人来送礼品，你退钱给他，在大多数情况下并不构成违纪。但在特定情境下（如工作场合、涉及公务活动或存在利益冲突时），可能需要更加谨慎地处理这种行为，以避免引发不必要的争议或问题。如果你有任何具体的疑问或担忧，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。