干部收受害人的钱又退还，是否构成违法犯罪，需分情况讨论：

1. 若干部在收钱时即无合法依据，且存在利用职务便利等情形，即使后续退还，仍可能构成受贿罪（未遂）或其他相关犯罪：

   • 法律背景：根据《中华人民共和国刑法》第三百八十五条，国家工作人员利用职务上的便利，索取他人财物的，或者非法收受他人财物，为他人谋取利益的，是受贿罪。若干部在收钱时即明知无合法依据，且意图利用职务便利为对方谋取利益，即便后续退还，其收钱行为已构成受贿罪的既遂或未遂（取决于是否实际为对方谋取利益或是否着手实施谋取利益的行为）。退还行为可能作为量刑情节考虑，但不影响犯罪的成立。
   • 举例说明：假设某干部收受他人贿赂，意图在项目审批中为对方提供便利，但在收钱后因担心被查处而退还。此时，该干部的行为已构成受贿罪（未遂），因其收钱时即存在非法目的，且已着手实施受贿行为。

2. 若干部收钱时存在误解或被迫收受，且及时退还，可能不构成犯罪：

   • 法律背景：若干部在收钱时存在误解（如误以为是合法报酬或礼品），或被迫收受（如受到威胁或胁迫），且在发现后及时退还，且未利用职务便利为对方谋取利益，则可能不构成犯罪。但需注意，干部需能够证明其收钱时的误解或被迫状态，以及退还的及时性。
   • 举例说明：假设某干部在不知情的情况下收受了他人误送的财物，发现后立即退还，且未利用职务便利为对方谋取利益。此时，该干部的行为可能不构成犯罪，因其无非法目的，且及时退还了财物。

3. 若干部收钱后因其他原因退还，且未利用职务便利为对方谋取利益，可能不构成受贿罪，但可能涉及其他违法行为：

   • 法律背景：若干部收钱后因个人原因（如家庭变故、经济困难等）退还，且未利用职务便利为对方谋取利益，则可能不构成受贿罪。但需注意，若收钱行为本身违反了单位或行业的规定，或涉及其他违法行为（如贪污、挪用公款等），则可能构成其他犯罪。
   • 举例说明：假设某干部收受了他人财物，但因个人经济困难而暂时保留，后因良心不安或担心被查处而退还。此时，若该干部未利用职务便利为对方谋取利益，则可能不构成受贿罪。但若收钱行为本身违反了单位规定，则可能构成违反单位纪律的行为。

法律建议：

• 对于干部而言，应严格遵守法律法规和单位规定，拒绝任何形式的贿赂和不当利益。若不慎收受了他人财物，应立即退还并向上级或相关部门报告，以避免涉嫌违法犯罪。
• 对于受害人而言，若发现干部存在受贿行为，应及时向相关部门举报并提供证据，以维护自身合法权益和社会公平正义。

可能法律后果：

• 若干部构成受贿罪或其他相关犯罪，将面临刑事处罚，包括有期徒刑、无期徒刑甚至死刑（取决于犯罪情节和数额大小）。
• 若干部不构成犯罪但违反了单位或行业规定，将可能面临行政处罚或纪律处分。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。