结论：在您描述的情况下，如果您确实及时、明确地退回了行贿款项，并且没有留下任何接受贿赂的意图或行为，那么您的行为通常不构成违纪。但具体是否违纪，还需结合实际情况和相关证据来判断。
分析说明：
行贿与受贿的构成要件：
- 行贿：指为谋取不正当利益，给予国家工作人员以财物的行为。
- 受贿：指国家工作人员利用职务上的便利，索取他人财物，或者非法收受他人财物，为他人谋取利益的行为。
退回行贿款项的影响：
- 如果您在收到行贿款项后，立即、明确地表示拒绝，并退回了款项，这表明您没有接受贿赂的意图，也没有利用职务之便为行贿人谋取利益。
- 退回行贿款项是表明您拒绝受贿的重要证据，有助于证明您的清白。
可能涉及的违纪情形：
- 如果您在退回行贿款项前，已经留下了接受贿赂的痕迹或行为（如口头承诺为行贿人谋取利益），或者退回款项的方式不够明确、及时，那么可能仍然构成违纪。
- 另外，如果您在退回款项后，仍然利用职务之便为行贿人谋取了利益，那么这也可能构成违纪或犯罪。
实际判断与证据收集：
- 是否违纪，最终需要结合您的具体行为、意图以及相关证据来判断。
- 如果您面临相关调查或指控，建议积极配合调查，提供退回行贿款项的证据（如转账记录、聊天记录等），以证明您的清白。
法律建议：
- 保持谨慎：在未来的工作中，务必保持谨慎，避免与任何可能涉及行贿、受贿的行为产生关联。
- 完善证据：如果您已经退回了行贿款项，建议保留好相关证据，以备不时之需。
- 咨询专业：如果您对具体情况是否构成违纪存在疑问，或者面临相关调查、指控，建议及时向我咨询，以便获得更具体的法律建议和帮助。
后续行动指南：
- 如果您尚未面临任何调查或指控，但担心此事可能对您产生不良影响，可以主动向相关部门说明情况，并提供退回行贿款项的证据。
- 如果您已经面临调查或指控，务必积极配合调查，同时寻求法律帮助，以维护自己的合法权益。