结论：打人的案子当时没拘留，过几年后拘留是否合理，需分情况讨论，不能一概而论。被打方已不追究，并不必然导致行政处罚或刑事责任的免除。

一、行政处罚角度

1. 追诉时效：

   • 根据《中华人民共和国治安管理处罚法》第二十二条：“违反治安管理行为在六个月内没有被公安机关发现的，不再处罚。前款规定的期限，从违反治安管理行为发生之日起计算；违反治安管理行为有连续或者继续状态的，从行为终了之日起计算。”
   • 分析：如果打人行为在六个月内未被公安机关发现，那么理论上就不再对其进行行政处罚。但如果在此期间内被公安机关发现，或者打人行为有连续或继续状态，那么追诉时效可能会延长。

2. 已过追诉时效的处理：

   • 如果确实已过追诉时效，且没有其他特殊情况（如连续或继续状态），那么公安机关就不应再对打人者进行行政处罚，包括拘留。
   • 但：如果被打方当时未报案，但后来提供了新证据或线索，导致公安机关重新立案调查，且调查发现打人行为确实存在且未过追诉时效（考虑连续或继续状态等因素），那么公安机关仍有权对打人者进行行政处罚。

3. 被打方不追究的影响：

   • 被打方不追究并不意味着公安机关不能或不应进行处罚。公安机关在发现违法行为后，有义务依法进行调查和处理，不受被打方个人意愿的影响。

二、刑事责任角度

1. 刑事追诉时效：

   • 根据《中华人民共和国刑法》第八十七条：“犯罪经过下列期限不再追诉：（一）法定最高刑为不满五年有期徒刑的，经过五年；（二）法定最高刑为五年以上不满十年有期徒刑的，经过十年；（三）法定最高刑为十年以上有期徒刑的，经过十五年；（四）法定最高刑为无期徒刑、死刑的，经过二十年。如果二十年以后认为必须追诉的，须报请最高人民检察院核准。”
   • 分析：如果打人行为构成犯罪（如故意伤害罪），且已过刑事追诉时效，那么就不再追究刑事责任。

2. 已过刑事追诉时效的处理：

   • 如果确实已过刑事追诉时效，且没有其他特殊情况（如最高人民检察院核准追诉），那么公安机关就不应再对打人者进行刑事立案和追究。
   • 但：与行政处罚类似，如果后来发现了新证据或线索，且未过刑事追诉时效（考虑特殊情况），那么公安机关仍有权进行刑事立案和追究。

3. 被打方不追究的影响：

   • 在刑事责任方面，被打方的不追究同样不意味着公安机关不能或不应进行刑事立案和追究。刑事责任的追究是基于犯罪行为的存在和法律的明文规定，不受被打方个人意愿的影响。

三、综合建议

1. 了解具体情况：

   • 首先需要了解打人行为的具体情况，包括时间、地点、伤害程度、是否报警、公安机关的处理情况等。

2. 咨询专业律师：

   • 由于法律问题的复杂性，建议直接向我咨询，以便更准确地评估案件情况和提供法律建议。

3. 积极应对：

   • 如果确实面临被拘留或刑事立案的情况，应积极配合公安机关的调查和处理，同时寻求法律帮助以维护自己的合法权益。