结论：全体业主不能直接因为物业管理公司管理差而少交管理费，但可以通过合法途径来维护自身权益，包括要求物业公司整改、更换物业公司或通过法律途径解决争议。
详细分析：
合同关系与义务：
- 业主与物业管理公司之间通常存在物业服务合同关系，合同中会明确双方的权利和义务。
- 业主有义务按照合同约定支付物业管理费，而物业管理公司则有义务提供约定的物业服务。
管理差的处理方式：
- 如果物业管理公司管理不到位，业主不能直接少交管理费，因为这可能构成违约行为，需要承担相应的法律责任。
- 业主应该首先通过合法途径，如向物业公司提出书面整改要求、召开业主大会讨论解决方案等，来要求物业公司改进服务质量。
更换物业公司：
- 如果物业公司长期管理不善，且拒不整改，业主可以通过业主大会决定更换物业公司。
- 更换物业公司需要遵循一定的法律程序，如提前通知原物业公司、进行公开招标或协商选择新物业公司等。
法律途径解决争议：
- 如果业主与物业公司之间的争议无法通过协商解决，业主可以向相关部门投诉或提起诉讼。
- 在诉讼过程中，业主需要提供充分的证据证明物业公司管理不到位，以及因此给自己造成的损失。
法律建议：
- 保留证据：业主在发现物业公司管理不到位时，应及时保留相关证据，如照片、视频、书面记录等，以便在后续维权过程中使用。
- 合法维权：业主应通过合法途径来维护自身权益，避免采取过激行为或违法手段。
- 咨询专业律师：在处理复杂的物业纠纷时，业主可以咨询专业律师，以获取更具体的法律建议和帮助。
可能后果：
- 如果业主未经合法程序直接少交管理费，可能会面临物业公司提起的诉讼或追缴费用等法律后果。
- 如果业主通过合法途径成功维权，物业公司可能会被要求整改、赔偿损失或被更换。
总之，全体业主不能直接因为物业管理公司管理差而少交管理费，但可以通过合法途径来维护自身权益。在处理物业纠纷时，业主应保持理性、合法维权，并咨询专业律师以获取更具体的法律建议。