结论：公司团建不去是否会被罚钱，主要取决于公司的具体规定以及劳动合同的约定。但无论如何，公司的罚款行为必须合理且合法，不能随意对员工进行经济处罚。以下从多个角度进行详细分析：

1. 法律角度：

   • 罚款作为一种经济处罚措施，在劳动关系中并非用人单位可以随意行使的权力。我国法律并未明确授权用人单位可以对员工进行罚款，除非有明确的法律依据或合同约定。团建活动通常不属于员工的正常工作职责范围，而是被视为一种增强团队凝聚力的活动。因此，员工对于是否参加团建拥有自主选择权，除非该活动与员工的工作任务紧密相关，并且已在劳动合同或员工手册等书面文件中明确规定为必须参加。

2. 劳动合同及规章制度：

   • 劳动合同是员工与用人单位之间权利义务关系的重要依据。如果劳动合同中没有明确约定员工必须参加团建活动以及不参加的相应罚则，那么公司随意对员工进行罚款就缺乏合同依据。
   • 公司的员工手册等规章制度虽然可以规定某些行为准则和处罚措施，但这些规定必须符合法律法规的要求。具体来说，规章制度的制定程序应当合法，包括经过职工代表大会或全体职工讨论、提出方案和意见、与工会或职工代表平等协商确定，并向员工公示或告知。如果公司未履行这些法定程序，那么相关的罚款规定对员工将不具有约束力。

3. 公司规定的差异性：

   • 有些公司将团建视为一种福利，员工可以自愿选择是否参加。这样的情况下，不去参加团建就不会被罚款，因为没有相应的罚款规定。
   • 然而，也有一些公司可能将团建视为工作的一部分，甚至将其纳入绩效考核或作为员工必须履行的义务。在这种情况下，如果员工不去参加团建，可能会被视为违反了公司规定，从而面临罚款或其他形式的处罚。但这并不意味着公司可以随意罚款，其罚款行为仍然需要符合法律法规的要求。

4. 员工的权益保护：

   • 如果公司强行对不参加团建的员工进行罚款，员工有权与公司进行沟通并要求说明罚款依据。如果沟通无果，员工可以向劳动监察部门投诉或寻求劳动仲裁等法律途径来维护自己的合法权益。

建议：

• 作为员工，在面对公司团建活动时，应首先了解公司的相关规定和劳动合同中的约定，明确自己的权利和义务。
• 如果公司规定或劳动合同中存在不合理的罚款条款，员工可以与公司进行协商，要求修改或删除这些条款。
• 如果公司强行对不参加团建的员工进行罚款，员工应保留好相关证据，如罚款通知、工资条等，以便在需要时维护自己的合法权益。

总之，公司团建不去是否会被罚钱取决于公司的具体规定和劳动合同的约定。但无论何种情况，公司的罚款行为都必须合理且合法。员工在面对不合理的罚款时，应勇于维护自己的权益并寻求法律援助。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。