受贿人当场把钱退还行贿人，行贿人依然可能构成行贿罪。行贿罪的认定核心在于行贿人的主观故意和客观行为，而非财物是否被退回这一后续情况。以下是对此问题的详细分析：
一、行贿罪的主观方面
行贿人必须具有通过给予财物等不正当手段，意图获取违反法律法规、政策、行业规范等规定的利益，或者在竞争中获得不公平优势等主观故意。例如，为在工程招标中中标，向招标负责人行贿以影响评标结果，即使后来行贿款被退回，这种谋取不正当利益的主观故意仍然存在，不影响行贿罪的成立。
二、行贿罪的客观方面
行贿行为的实施：行贿罪是行为犯，只要行贿人实施了给予国家工作人员财物的行为，即构成行贿罪的客观要件。当行贿人将财物送出时，其行贿行为已经着手实施，无论财物最终是否被接受或退回，都不影响行贿行为的成立。在受贿人当场退回的情况下，行贿人的行贿行为已经完成，只是财物未被受贿人实际接受或占有。
行贿数额的界定：行贿数额是判断行贿罪是否成立以及量刑轻重的重要依据。具体来说，为谋取不正当利益，向国家工作人员行贿，数额在三万元以上的，应当追究刑事责任。行贿数额在一万元以上不满三万元，但具有特定情形之一的（如向三人以上行贿、将违法所得用于行贿、通过行贿谋取职务提拔等），也应当追究刑事责任。在受贿人当场退回的情况下，如果行贿数额达到上述标准，行贿人仍可能构成行贿罪。
三、行贿财物被退回的法律意义
虽然行贿财物被退回不会改变行贿行为的性质，但在司法实践中，这一情节通常会被作为从轻量刑的考量因素。如果行贿人在被追诉前主动交待行贿行为，并退回行贿款项，可能会得到从轻或者减轻处罚的处理。然而，这并不意味着行贿人可以因此免除法律责任。如果行贿行为情节严重，如行贿数额巨大、造成严重后果等，即便退赃，行贿人也仍需承担相应的法律责任。
四、特殊情况的说明
需要注意的是，如果行贿情节显著轻微、危害不大的，依据《刑法》的相关规定，可不认为是犯罪。但这并不意味着所有退回财物的行贿行为都可以免于法律追究，而是需要根据具体情况进行综合判断。例如，如果行贿人是在被勒索的情况下给予财物，且没有获得不正当利益的，不构成行贿罪。但在受贿人当场退回的情况下，这一特殊情况并不适用，因为行贿人已经实施了给予财物的行为，且意图谋取不正当利益。
总结与建议：
受贿人当场把钱退还行贿人，并不影响行贿人行贿罪的成立。行贿罪的认定主要基于行贿人的主观故意和客观行为。因此，建议公众务必遵守法律法规，远离任何形式的行贿行为。如果涉及相关问题或需要进一步的法律帮助，可以直接向我咨询。