结论：物业公司退回业委会成员的物管费是否合法，需根据具体情况判断，主要看是否符合相关法律法规及物业服务合同约定。以下从不同角度进行分析：
一、从法律法规角度
物业服务合同约定：
- 物业服务合同是业主与物业公司之间设立、变更、终止物业服务权利义务关系的协议。如果合同中明确规定了业委会成员的物管费减免或退回条款，且该条款不违反法律法规的强制性规定，那么物业公司按照合同约定退回物管费是合法的。
相关法律法规：
- 目前，并没有直接的法律法规明确规定物业公司必须或不得退回业委会成员的物管费。但根据《物业管理条例》等相关法律法规，物业服务应当遵循公平、合理、公开的原则，且物业服务收费应当遵循合理、公开以及费用与服务水平相适应的原则。如果退回物管费的行为违反了这些原则，或者损害了其他业主的合法权益，那么该行为可能被视为不合法。
二、从实际操作角度
业委会成员的特殊性：
- 业委会成员作为业主的代表，负责监督物业公司的服务，维护业主的合法权益。他们本身也是业主，应当与其他业主一样承担物业服务费用。如果物业公司无故退回业委会成员的物管费，可能会引发其他业主的不满和质疑，认为这存在不公平或利益输送的问题。
退回物管费的合理性：
- 如果业委会成员在物业服务中发挥了特殊作用，如为物业公司提供了额外的服务或协助，且这种服务或协助得到了物业公司的认可和补偿（包括退回物管费），那么这种行为在一定程度上是可以理解的。但前提是这种补偿必须公开透明，且不损害其他业主的合法权益。
三、法律建议
审查物业服务合同：
- 首先，应审查物业服务合同中是否有关于业委会成员物管费减免或退回的条款。如果有，且该条款合法有效，那么物业公司按照合同约定退回物管费是合法的。
评估退回行为的合理性：
- 如果没有合同约定，或者合同约定不明确，那么应评估退回物管费的行为是否合理。这包括考虑业委会成员是否提供了额外的服务或协助，以及这种服务或协助是否得到了物业公司的认可和补偿。
维护其他业主的合法权益：
- 如果退回物管费的行为引发了其他业主的不满和质疑，或者损害了其他业主的合法权益，那么应及时采取措施进行纠正。这可能包括与物业公司协商、召开业主大会进行讨论和决策等。
总结：物业公司退回业委会成员的物管费是否合法，需根据具体情况判断。如果符合物业服务合同约定且不违反法律法规的强制性规定，那么该行为是合法的；否则，可能被视为不合法。在实际操作中，应充分考虑业委会成员的特殊性、退回物管费的合理性以及其他业主的合法权益等因素。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。