结论前置：收到涉诈资金但未参与诈骗，即便已经退赔了钱，仍有可能被认定为“两卡”人员并面临行政处罚，但具体是否处罚及处罚的轻重会因实际情况而有所不同。以下从多个角度进行分析：
一、关于“两卡”人员的认定
“两卡”人员通常指的是非法出租、出售、出借银行账户（卡）或者支付账户的单位、个人及相关组织者，以及假冒他人身份或者虚构代理关系开立银行账户（卡）或者支付账户的单位和个人。若您仅是收到涉诈资金，但并未主动出租、出售、出借或假冒他人身份开立账户，且没有证据表明您明知资金来源非法仍进行接收或转移，那么您不一定会被直接认定为“两卡”人员。然而，如果您的行为在客观上为诈骗分子提供了便利，或者您存在疏忽大意、未尽到合理审查义务等情形，仍有可能被纳入“两卡”人员的范畴。
二、关于行政处罚的可能性
若被认定为“两卡”人员：根据相关规定，对于“两卡”人员，公安机关可能会依法进行行政处罚，包括但不限于罚款、拘留等。处罚的轻重会考虑多种因素，如您的行为性质、情节严重程度、是否造成严重后果等。
若未被认定为“两卡”人员，但存在其他违法行为：即使您未被直接认定为“两卡”人员，但如果您的行为构成了其他违法行为，如掩饰、隐瞒犯罪所得等，仍可能面临相应的行政处罚或刑事责任。
退赔行为的影响：您已经退赔了钱，这一行为表明您有一定的悔过表现，且在一定程度上减轻了受害者的损失。这可能会作为公安机关在决定是否处罚以及处罚轻重时的一个考量因素，但并不能完全免除您的法律责任。
三、建议与措施
积极配合调查：如果您收到了相关部门的调查通知，应积极配合调查，如实说明情况，提供相关证据材料。
保留证据：保留好与涉诈资金相关的所有交易记录、聊天记录等证据材料，以便在需要时证明自己的清白或减轻责任。
咨询专业律师：由于法律问题具有复杂性和专业性，建议您在面临此类情况时及时咨询专业律师，以便更好地了解自己的法律权利和义务，并制定合适的应对策略。
最后，每个案件的具体情况都有所不同，因此上述分析仅供参考。如果您有任何具体的法律问题或疑虑，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。