结论概述：公务员退休后到企业返聘，如主动把返聘金额退了，是否还要承担责任，这取决于多个因素，包括返聘协议的具体内容、是否存在违法违规行为以及退还金额的动机和方式等。以下我将从不同角度进行详细分析。

一、返聘协议的法律效力与责任

1. 协议内容：首先，需要查看返聘协议的具体内容。如果协议中明确规定了返聘期间的薪酬、工作职责、保密义务等条款，并且公务员在返聘期间确实违反了这些条款，那么即使主动退还了返聘金额，也可能需要承担违约责任或赔偿责任。

2. 违约责任：根据《中华人民共和国民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。因此，如果公务员在返聘期间存在违约行为，退还金额并不免除其违约责任。

二、是否存在违法违规行为

1. 公务员法规定：根据《中华人民共和国公务员法》的相关规定，公务员退休后，享受国家规定的养老金和其他待遇，同时可以从事一些符合规定的兼职或返聘活动。但是，如果返聘活动违反了公务员法的相关规定，如利用原职权或地位形成的便利条件为返聘企业谋取不正当利益等，那么即使退还了返聘金额，也可能面临法律责任。

2. 刑事责任：如果公务员在返聘期间存在贪污、受贿等违法犯罪行为，那么退还金额并不能免除其刑事责任。根据《中华人民共和国刑法》的相关规定，贪污、受贿等犯罪行为将受到严厉的刑事处罚。

三、退还金额的动机和方式

1. 动机：如果公务员主动退还返聘金额是出于认识到自己的错误或违法行为，并希望减轻或免除法律责任，那么这种退还行为可能被视为一种悔过表现，有助于在法律程序中争取从轻或减轻处罚。但是，这并不意味着退还金额就能完全免除法律责任。

2. 方式：退还金额的方式也可能影响法律责任的承担。如果公务员是通过合法途径退还金额，并积极配合相关部门的调查和处理，那么这种退还行为可能更有利于减轻法律责任。相反，如果公务员采取隐瞒、欺骗等手段退还金额，或者退还金额后继续从事违法违规行为，那么将可能面临更严重的法律责任。

建议与总结：

• 审查返聘协议：建议公务员在返聘前仔细审查返聘协议的内容，确保自己能够履行协议中的各项义务。
• 遵守法律法规：在返聘期间，公务员应严格遵守国家法律法规和公务员法的相关规定，避免从事任何违法违规行为。
• 主动退还与配合调查：如果公务员意识到自己在返聘期间存在错误或违法行为，并希望减轻或免除法律责任，应主动退还返聘金额，并积极配合相关部门的调查和处理。

综上所述，公务员退休后到企业返聘，如主动把返聘金额退了，是否还要承担责任取决于多个因素。因此，我建议公务员在返聘前咨询专业律师或法律机构，了解相关法律法规和返聘协议的内容，以确保自己的合法权益得到保障。如果你有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。