自助餐浪费食物罚款的合法性需根据具体情况判断，商家不能直接向顾客收取罚款，但可以通过合同约定的方式收取违约金作为赔偿。以下是对此问题的详细分析：
一、法律层面分析
罚款权力的归属：
- 罚款属于行政处罚权，仅由具备行政处罚权的行政机关和法律、法规授权的具有管理公共事务职能的组织在法定职权范围内实施。自助餐厅作为普通的民事经营主体，不具备实施罚款处罚的权力。因此，餐厅自行规定对顾客浪费行为进行罚款，缺乏法律依据，可能侵犯消费者的合法权益。
《中华人民共和国反食品浪费法》的相关规定：
- 该法规定餐饮服务经营者应主动对消费者进行防止食品浪费提示提醒，若未履行此义务或诱导、误导消费者超量点餐造成明显浪费且拒不改正的，将面临行政处罚。但这些规定是针对餐饮服务经营者的行为规范，并未赋予餐厅对消费者进行罚款的权力。不过，该法也支持餐饮服务经营者对造成明显浪费的消费者收取处理厨余垃圾的费用，但需明示收费标准，这为商家制定相关规则提供了一定的法律依据，但并非直接的罚款权力。
二、合同层面分析
合同关系的形成：
- 消费者进入自助餐场所消费，与商家形成合同关系。商家若在就餐场所醒目位置明确公示了防止食品浪费的规则及违约金的收取标准，消费者在知晓并接受这些规则的情况下选择就餐，即视为双方达成了关于浪费食物需支付违约金的约定。
违约金的收取：
- 根据《民法典》的相关规定，当事人可以约定一方违约时支付违约金或损失赔偿额的计算方法。因此，在消费者故意造成大量浪费且商家已提供必要服务和提醒的情况下，商家有权依据合同约定收取违约金。但违约金的金额应与处理浪费食物所产生的实际成本相当，不得谋取不当利益。
三、合理性与透明度要求
合理收费：
- 商家的任何收费（包括违约金）都应合理、合法、透明。违约金金额应与处理浪费食物所产生的实际成本相当，避免过高或过低的收费标准引发争议。
充分公示：
- 商家应确保相关规则的公示充分、明确，以便消费者在购买服务前能够充分了解并作出选择。这有助于减少因信息不对称而引发的纠纷。
四、实际操作建议
加强提示提醒：
- 商家应加强对消费者的提示提醒工作，通过醒目的标识、口头提示等方式引导消费者合理取餐、避免浪费。
采取合法措施：
- 商家可以采取收取押金、设置浪费食物提醒等方式来鼓励消费者节约食物，但操作时需确保遵守相关法律法规，不侵犯消费者的知情权和选择权。
妥善处理争议：
- 在出现争议时，商家应与消费者进行协商，寻求妥善解决方案。若协商无果，双方可以通过投诉、诉讼等途径解决争议。
总结与建议：自助餐浪费食物是一个社会问题，需要社会各界共同努力来解决。商家在制定相关规则时，应确保合法合规，尊重消费者的合法权益。同时，也应加强服务和提醒工作，引导消费者合理取餐、避免浪费。消费者则应自觉遵守社会公德和商家的合理规定，共同营造节约粮食、反对浪费的良好风尚。若您在自助餐消费过程中遇到相关问题或争议，可以直接向我咨询，我将为您提供专业的法律建议。