结论：五六个男人一起去游泳，其中一人死亡，其他人是否需要赔偿，这取决于具体情况，不能一概而论。以下从多个角度进行分析：
是否存在过错行为：
- 如果其他人在游泳过程中存在过错行为，如故意推搡、拉扯或者未尽到合理的注意义务，导致死者溺水身亡，那么他们可能需要承担相应的赔偿责任。这种过错行为可能构成侵权行为，根据《中华人民共和国民法典》中关于侵权责任的规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
- 举例来说，如果其中一人明知死者不会游泳，却故意将其推入深水区，导致其溺水身亡，那么该行为人就应当承担赔偿责任。
是否尽到救助义务：
- 在共同游泳的过程中，如果其他人发现死者出现危险情况，如溺水、抽筋等，但未及时采取救助措施或者救助措施不当，导致死者死亡，那么他们也可能需要承担一定的责任。这种责任可能基于道德义务，也可能在特定情况下构成法律上的救助义务。
- 例如，如果其中一人看到死者溺水，但只是站在一旁观望，没有采取任何救助措施，导致死者死亡，那么该人可能因未尽到救助义务而承担一定的责任。不过，需要注意的是，这种责任通常较为有限，且需要具体分析当时的情况和各方的行为。
是否存在特殊关系或约定：
- 如果这五六个男人之间存在某种特殊关系，如组织者与参与者之间的关系，或者他们之间有明确的约定，如共同承担风险等，那么这些关系或约定也可能影响责任的承担。
- 例如，如果其中一人是游泳活动的组织者，且未尽到安全保障义务，导致死者死亡，那么该组织者可能需要承担更大的责任。或者，如果他们之间有约定，共同承担游泳过程中可能出现的风险，那么在其他人不存在明显过错的情况下，可能不需要承担赔偿责任。
其他因素：
- 除了上述因素外，还需要考虑其他可能影响责任承担的因素，如死者的自身原因（如心脏病突发等）、环境因素（如水流湍急、水温过低等）等。
- 如果死者的死亡主要是由于其自身原因或者环境因素导致的，且其他人没有过错行为或者未尽到救助义务的情况不严重，那么其他人可能不需要承担赔偿责任。
建议：在处理此类纠纷时，建议首先通过协商、调解等方式解决。如果无法达成一致意见，可以考虑通过法律途径解决。在诉讼过程中，需要提供充分的证据来证明各方的行为和责任。同时，也建议大家在参与类似活动时，注意自身安全，遵守相关规定和约定，以减少不必要的纠纷和损失。
后续行动：如果您或您身边的人遇到了类似的情况，且对责任承担有疑问或者需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，提供专业的法律意见和帮助。