结论：物业投资钱给小区做建设，退场时要求业委会退还是否合法，这取决于投资的具体性质、双方约定以及相关法律法规的规定，不能一概而论。以下从不同角度进行分析：
一、投资性质与双方约定
投资性质：
- 如果物业的投资行为被视为对小区公共设施的捐赠或无偿赞助，那么通常这种投资是不可逆的，即投资后无法要求退还。因为捐赠或赞助行为一旦完成，财产的所有权就转移给了受赠方（小区业委会或全体业主），捐赠者（物业）就失去了对该财产的所有权。
- 如果物业的投资行为被视为一种有偿的投资或合作，比如物业与业委会之间签订了投资协议，约定了投资回报、退出机制等条款，那么物业在退场时要求业委会退还投资款或按照协议约定处理投资款，就是合法的。
双方约定：
- 物业与业委会之间是否签订了书面协议，以及协议中是否明确规定了投资款的退还条件、方式等，是判断物业要求退还投资款是否合法的重要依据。如果协议中有明确规定，且该规定不违反法律法规的强制性规定，那么物业的要求就是合法的。
二、相关法律法规
《民法典》相关规定：
- 根据《民法典》中关于赠与合同的规定，赠与人在赠与财产的权利转移之前可以撤销赠与，但经过公证的赠与合同或者依法不得撤销的具有救灾、扶贫、助残等公益、道德义务性质的赠与合同除外。如果物业的投资行为被视为赠与，且已经完成了财产权利的转移，那么物业通常无法要求退还。
- 如果物业的投资行为被视为一种合同行为，那么双方应当按照合同约定履行各自的义务。如果合同中约定了投资款的退还条件，且这些条件已经成就，那么物业有权要求业委会退还投资款。
其他相关法律法规：
- 除了《民法典》外，还可能涉及《物业管理条例》等相关法律法规的规定。这些法律法规可能对物业与业委会之间的权利义务关系、投资行为的合法性等方面做出具体规定。因此，在判断物业要求退还投资款是否合法时，还需要考虑这些法律法规的规定。
三、实际操作建议
审查协议：
- 物业应当首先审查其与业委会之间签订的协议，明确协议中关于投资款退还的条款。如果协议中有明确规定，且该规定合法有效，那么物业可以按照协议约定要求业委会退还投资款。
协商沟通：
- 如果协议中没有明确规定或者规定不明确，物业可以与业委会进行协商沟通，寻求双方都能接受的解决方案。在协商过程中，物业可以充分阐述其投资的目的、期望以及退场的原因等，争取业委会的理解和支持。
法律途径：
- 如果协商沟通无果，物业可以考虑通过法律途径解决争议。比如向法院提起诉讼或者申请仲裁等。在诉讼或仲裁过程中，物业需要提供充分的证据证明其投资行为的性质、双方约定以及业委会的违约行为等，以支持其要求退还投资款的诉讼请求。
最后，物业投资钱给小区做建设退场时要求业委会退还是否合法，需要根据具体情况进行判断。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。