结论：在五十多岁的人先动手打人的情况下，您还手是否需要负责，这取决于还手行为的性质和后果，具体分为正当防卫、防卫过当和互殴三种情况。
分析：
正当防卫：
- 法律背景：根据《中华人民共和国刑法》第二十条，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。
- 应用情况：如果您在对方先动手打人时，为了保护自己的人身安全而采取的还手行为是适度的、必要的，且没有超过必要的限度，那么您的行为可能构成正当防卫，不需要承担法律责任。
防卫过当：
- 法律背景：同样根据《中华人民共和国刑法》第二十条，正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。
- 应用情况：如果您的还手行为超出了必要的限度，例如使用了过度的暴力或者造成了对方严重的伤害，那么您的行为可能构成防卫过当，需要承担一定的法律责任。
互殴：
- 法律背景：在双方互相殴打的情况下，通常会被视为互殴行为，双方都可能需要承担一定的法律责任。
- 应用情况：如果您在对方先动手后，没有保持冷静，而是选择了还手，并且双方的行为都具有一定的攻击性，那么您的行为可能被视为互殴，需要承担相应的法律责任。在这种情况下，即使对方先动手，您也可能因为还手而面临处罚，具体处罚取决于双方的伤势、行为性质以及当地法律法规的规定。
建议：
- 保持冷静：在面对冲突时，尽量保持冷静，避免情绪失控导致行为过激。
- 寻求帮助：如果可能的话，尽量寻求周围人的帮助或者报警，让警方来处理冲突。
- 了解法律：了解相关的法律法规，明确自己的权利和义务，以便在冲突发生时能够做出正确的判断。
- 保留证据：如果发生了冲突，尽量保留相关的证据，如现场照片、视频、证人证言等，以便在需要时能够证明自己的清白。
后续行动：
- 如果您已经还手并且担心可能面临法律责任，建议尽快咨询专业律师（即向我咨询），了解具体的法律情况和可能的后果。
- 根据律师的建议，采取相应的措施来保护自己的权益，如配合警方调查、提供证据等。
总之，在面对冲突时，保持冷静、寻求帮助、了解法律并保留证据是非常重要的。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。