关于你提出的“跟着精神病人去游泳淹死了对方是否要负责任”的问题，这是一个涉及侵权损害责任判定的复杂问题。以下是我根据你的问题进行的详细分析：
结论前置：
是否负责任需根据具体情况判断，主要考虑精神病人的行为能力、同行者的行为与过错、以及受害者的自身行为等因素。
详细分析：
精神病人的行为能力：
- 若精神病人处于完全不能辨认自己行为的状态，且其监护人未尽到监护责任，导致精神病人与他人一同游泳并发生溺水事故，监护人可能需要承担一定的责任。
- 若精神病人处于部分辨认自己行为的状态，且其能够预见到游泳的危险性，但仍选择参与，则其自身也需承担一定的责任。
同行者的行为与过错：
- 若同行者明知精神病人存在精神障碍，仍邀请其参与游泳等危险活动，且未采取必要的照顾、救助措施，导致精神病人溺水身亡，同行者可能因过错而承担一定的责任。
- 若同行者在游泳过程中尽到了合理的照顾、救助义务，且没有过错行为，则通常无需承担法律责任。
受害者的自身行为：
- 受害者（即淹死的精神病人）的自身行为也是影响责任判定的重要因素。若受害者明知自己存在精神障碍且游泳能力有限，仍选择参与游泳活动，并因自身原因溺水身亡，则其自身也需承担一定的责任。
其他可能因素：
- 游泳地点的安全性、是否有救生设施、是否有警示标识等也可能影响责任的判定。若游泳地点存在安全隐患，且管理者未尽到安全保障义务，则管理者也可能承担一定的责任。
综合考量：
在实际情况中，判断同行者是否承担责任应综合考虑上述因素。若同行者尽到了合理的注意和救助义务，且没有过错行为，通常无需承担法律责任。然而，若存在过错或未履行相应义务，如同行者有能力救助却未施救、未履行提醒照顾义务等，则可能需要承担相应的责任。
法律建议：
- 在与精神病人相处时，应充分了解其精神状况和行为能力，避免邀请其参与危险活动。
- 若需与精神病人一同参与活动，应确保活动安全，并采取必要的照顾、救助措施。
- 在发生溺水等意外事故时，应及时报警并寻求专业救援。
若你有进一步的法律问题或需要更详细的法律建议，请随时向我咨询。