结论：在未签订书面协议的情况下，您仍然有可能追究对方的法律责任，但具体能否追究成功以及追究的方式和结果，会受到多种因素的影响。以下从不同角度为您详细分析：
一、法律关系的认定
事实关系的存在：即便没有签订书面协议，只要您能证明双方之间存在事实上的法律关系（如对方确实实施了殴打行为，并且您因此遭受了损失），您就有权要求对方承担相应的法律责任。这通常需要通过证人证言、监控录像、医疗记录等证据来证明。
调解人的角色：调解人给了一部分钱，这一行为本身可能构成对方承认部分责任或愿意进行赔偿的表示。然而，调解人的行为并不直接等同于双方已经达成了具有法律约束力的协议，除非调解过程被正式记录并双方签字确认。
二、追究法律责任的方式
民事诉讼：如果您选择通过民事诉讼来追究对方的法律责任，您需要准备充分的证据来证明对方的行为构成了侵权，并且您因此遭受了损失。在诉讼过程中，法院会根据双方提供的证据和法律规定来判决对方是否需要承担赔偿责任以及赔偿的金额。
刑事诉讼（如构成犯罪）：如果对方的殴打行为构成了犯罪（如故意伤害罪），您还可以向公安机关报案，要求追究对方的刑事责任。在刑事诉讼过程中，您作为被害人，有权提起附带民事诉讼，要求对方赔偿您的经济损失。
三、可能面临的挑战
证据收集：在没有书面协议的情况下，证据的收集和保存变得尤为重要。您需要尽可能收集所有能够证明对方行为和您损失的证据，如医疗记录、证人证言、监控录像等。
对方否认：对方可能会否认殴打行为或拒绝承担赔偿责任。在这种情况下，您需要依靠充分的证据来证明自己的主张。
诉讼成本和时间：诉讼过程可能会耗费您大量的时间和精力，并且需要支付一定的诉讼费用。因此，在决定是否追究法律责任之前，您需要权衡利弊，考虑自己的实际情况和需求。
四、建议
尽快收集证据：无论您选择哪种方式追究法律责任，都需要尽快收集并保存好所有相关证据。
咨询专业律师：由于法律问题具有复杂性和专业性，建议您在采取任何行动之前咨询一位专业律师（如我），以便更好地了解自己的权利和义务，以及可能面临的法律风险和后果。
考虑调解或和解：如果双方都有意愿，您还可以考虑通过调解或和解的方式来解决纠纷。这通常可以更快地解决问题，并且减少诉讼成本和时间。
如果您有任何关于合同纠纷或刑事辩护方面的法律问题，都可以直接向我咨询。