基金管理人向合伙人返还管理费，如构成违规，可能面临行政处罚或刑事责任。具体分析如下：

一. 基金管理人返还管理费可能涉及的违规情况

1. 违反基金合同约定：基金管理人如擅自返还管理费，可能违反了与合伙人之间的基金合同约定。根据《中华人民共和国证券投资基金法》第九十三条，基金管理人、基金托管人违反本法规定或者基金合同约定，未对基金财产实行分别管理或者分账管理，责令改正，处五万元以上五十万元以下罚款；对直接负责的主管人员和其他直接责任人员给予警告，并处三万元以上三十万元以下罚款。

2. 损害投资人利益：返还管理费可能导致基金财产减少，进而损害其他投资人的利益。若构成犯罪，将依法追究刑事责任。

3. 违反监管规定：基金管理人的运营行为受到监管机构的严格监管，擅自返还管理费可能违反了相关监管规定，从而面临行政处罚。

二. 处罚措施

1. 行政处罚：如基金管理人违规返还管理费，监管机构可能对其采取警告、罚款、责令改正等行政处罚措施。

2. 刑事责任：如构成犯罪，如诈骗罪、挪用资金罪等，基金管理人及相关责任人员可能面临刑事追究。

三. 建议与防范措施

1. 严格遵守合同约定：基金管理人应严格遵守与合伙人之间的基金合同约定，不得擅自返还管理费。

2. 加强内部管理：建立健全内部管理制度，确保基金财产的安全和合规运营。

3. 咨询专业意见：在涉及基金管理费返还等敏感问题时，应咨询专业律师或会计师的意见，确保行为合法合规。

我的观点：基金管理人向合伙人返还管理费需谨慎处理，务必确保行为符合法律法规和基金合同的约定。如有进一步需要，您可以继续咨询我。