结论：仅根据您所描述的情况，即信用卡持有人转账给您，然后您转回给他且每次金额未超过五万，这一行为本身并不直接构成违法。但具体是否违法，还需结合转账的性质、目的以及是否存在其他违法行为进行综合判断。

分析角度一：转账行为的性质

1. 正常资金往来：如果信用卡持有人转账给您是出于正常的资金往来，比如借款、还款、赠与等，且您转回的行为也是基于这些正常目的，那么这一行为本身并不违法。关键在于双方是否有明确的转账意图和合法的资金来源。

2. 非法资金流转：如果转账行为涉及非法资金，如洗钱、诈骗等，那么无论转账金额大小，都可能构成违法。在这种情况下，即使您每次转回的金额未超过五万，也可能因为参与了非法资金的流转而面临法律责任。

分析角度二：转账目的与意图

1. 合法目的：如果转账的目的是合法的，比如为了支付货款、服务费等，且双方都有明确的合同或协议作为依据，那么这一行为是合法的。

2. 非法目的：如果转账的目的是非法的，比如为了逃避税收、进行非法交易等，那么即使转账金额不大，也可能因为违反了相关法律法规而构成违法。

分析角度三：是否存在其他违法行为

1. 无其他违法行为：如果除了转账行为外，没有其他违法行为，如伪造文件、欺诈等，那么仅凭转账行为本身很难构成违法。

2. 存在其他违法行为：如果转账行为与其他违法行为相结合，如利用转账进行诈骗、逃税等，那么即使转账金额未超过五万，也可能因为整体行为的违法性而面临法律责任。

法律建议：

1. 确保资金来源合法：在进行任何转账行为前，请确保资金来源合法，避免涉及非法资金。

2. 明确转账目的与意图：与转账方明确转账的目的和意图，确保双方都有合法的转账依据。

3. 保留相关证据：保留转账记录、合同或协议等相关证据，以备不时之需。

4. 咨询专业律师：如果您对转账行为的合法性存在疑问，或者担心可能面临法律责任，建议及时咨询专业律师，以便获得更具体的法律建议。

可能法律后果：

如果转账行为被认定为非法，您可能面临包括但不限于罚款、没收违法所得、甚至刑事责任等法律后果。因此，请务必谨慎对待转账行为，确保合法合规。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。