结论：被定性为非法集资诈骗四万元，即便对方已退款，仍可能面临法律责任，但退款行为可能作为量刑情节予以考虑。
分析如下：
非法集资诈骗的刑事责任：
- 根据《中华人民共和国刑法》第一百九十二条的规定，以非法占有为目的，使用诈骗方法非法集资，数额较大的，构成非法集资诈骗罪。四万元通常会被认定为“数额较大”的范畴，因此，一旦被定性为非法集资诈骗，行为人将面临刑事责任的追究，包括有期徒刑、拘役和罚金等。
退款行为对刑事责任的影响：
- 退款行为本身并不能完全免除行为人的刑事责任。非法集资诈骗罪的成立，主要依据的是行为人的诈骗行为和非法集资的故意，而非是否退款。然而，退款行为可以作为量刑情节之一，在法院判决时予以考虑。如果行为人能够积极退赔，表现出悔罪态度，法院可能会酌情从轻或减轻处罚。
可能面临的法律后果：
- 除了刑事责任外，行为人还可能面临民事赔偿的责任。如果非法集资行为给投资者造成了损失，投资者有权要求行为人进行赔偿。退款行为虽然可以部分或全部弥补投资者的损失，但并不能完全消除行为人可能面临的民事赔偿责任。特别是在退款不完全或投资者不接受退款的情况下，行为人仍需承担相应的民事赔偿责任。
其他考虑因素：
- 在判断行为人是否构成非法集资诈骗罪以及量刑时，法院还会考虑其他多种因素，如行为人的主观恶性、犯罪手段、犯罪后果、社会影响等。因此，即使退款行为存在，也不能简单地认为行为人就不会受到法律制裁。
建议：
- 如果您或您身边的人被定性为非法集资诈骗，并已经退款，建议尽快咨询专业律师，了解具体的法律后果和应对策略。
- 积极配合司法机关的调查和审判工作，如实陈述事实，提供相关证据，以争取从轻或减轻处罚。
- 如果可能的话，尽量与投资者达成和解协议，积极退赔投资者的损失，以表现悔罪态度并减少社会矛盾。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。