如果单位被打的人不调解，事情可能会通过法律程序来解决。以下是从不同角度给出的详细解答：

1. 行政与刑事责任：

   • 如果打人行为尚未达到犯罪程度，但拒绝调解，公安机关有权依据《治安管理处罚法》对打人者进行罚款或拘留。
   • 如果被打者所受伤害达到轻伤及以上，打人者可能涉嫌故意伤害罪，公安机关将立案调查，并由检察机关决定是否提起公诉。一旦法院判定被告有罪，打人者将面临刑事责任。

2. 民事赔偿责任：

   • 即使打人者不接受调解，被打者仍有权向人民法院提起民事诉讼，要求打人者承担医疗费用、护理费、误工费、营养费等相关费用。
   • 在诉讼过程中，被打者需要提供充分的证据来支持其赔偿请求，如医疗费用收据、误工证明、伤情鉴定报告等。

3. 法律程序建议：

   • 首先，确保留存好所有与被打事件相关的证据，包括病历、照片、证人证言等。
   • 如果打人者拒绝调解，可以向当地公安机关报案，请求警方介入处理。
   • 如果公安机关处理未果，或者打人行为构成犯罪，被打者可以向人民法院提起民事诉讼或刑事诉讼，维护自己的合法权益。

综上所述，如果单位被打的人不调解，被打者可以通过法律途径来维护自己的权益。无论是行政与刑事责任还是民事赔偿责任，法律都提供了相应的救济方式。建议被打者及时咨询专业律师，获取更具体的法律建议和支持。如果你有任何疑问或需要进一步的法律帮助，请直接向我提问。