将钱退给行贿人是否算违反政治纪律，需结合具体情况综合判断，若退还行为及时且无受贿故意，通常不构成违反政治纪律；但若存在掩饰犯罪、对抗组织审查等情形，则可能同时触犯法律与政治纪律。以下从法律与政治纪律两个层面展开分析：

一、法律层面分析

1. 受贿罪的认定：根据《中华人民共和国刑法》第三百八十五条，国家工作人员利用职务便利索取或非法收受他人财物，为他人谋取利益的，构成受贿罪。若收受财物后及时退还或上交，且主观上无受贿故意，则不构成受贿罪。

2. 退还的时效性与动机：

   • 及时性：若在接受财物后较短时间内退还，表明无受贿意图，通常不被认定为受贿。
   • 动机：若因自身或关联人被查处而退还，旨在掩饰犯罪，则不影响受贿罪的认定。即使后来退还，但收受时有受贿故意，仅因后续原因改变主意，仍可能构成受贿罪，不过退还可作为量刑时的从轻或减轻情节。

二、政治纪律层面分析

1. 政治纪律的重要性：政治纪律是党的组织和党员必须遵循的行为规范，关乎党的团结统一和形象威信。对于党员领导干部而言，受贿行为本身即损害党的形象和威信，破坏党的团结，因此属于违反政治纪律的范畴。

2. 退还行为的考量：

   • 无违纪故意：若退还行为及时且无受贿故意，未造成不良影响，通常不被视为违反政治纪律。例如，某党员领导干部在不知情的情况下收受了行贿人的财物，但随后立即意识到错误并退还，且未利用该财物为行贿人谋取利益，这种情况下，其退还行为通常不会被认定为违反政治纪律。
   • 掩饰犯罪与对抗审查：若退还行为伴随掩饰犯罪、对抗组织审查等，则明显违反政治纪律，将受到党纪处分。例如，某党员领导干部在收受行贿人财物后，因担心被查处而退还，但在此过程中，其试图通过伪造证据、串供等方式掩盖受贿事实，这种行为就构成了对抗组织审查，严重违反了政治纪律。

三、综合建议

在实际操作中，若国家工作人员（尤其是党员领导干部）能及时退还受贿款项，且确无受贿故意，其行为通常不会被认定为受贿，也不构成违反政治纪律。然而，若存在上述任何一项负面情形，如退还不及时、存在受贿故意或伴随掩饰犯罪、对抗组织审查等行为，都可能面临法律制裁和党纪处分。

因此，我建议国家工作人员特别是党员领导干部，应时刻保持清醒头脑，坚决抵制腐败行为。在面对行贿等不正当利益诱惑时，应坚决拒绝并及时向组织报告，确保自身行为的合法性与合规性。若您或您身边的人遇到了相关法律问题，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。