如果对方轻伤且不肯调解，你通常无法直接避免被起诉。对于因民间纠纷引起的打架斗殴行为，若情节较轻且经调解未达成协议或者达成协议后不履行的，公安机关会依照《中华人民共和国治安管理处罚法》的规定对违反治安管理行为人给予处罚，并告知当事人可以就民事争议依法向人民法院提起民事诉讼。
具体来说：
法律程序：
- 如果对方不接受调解，公安机关可能会依法对打架行为进行行政处罚，如罚款或拘留。
- 同时，对方有权就民事赔偿部分向人民法院提起民事诉讼，要求你赔偿医疗费、误工费、护理费等各项费用。
可能的法律后果：
- 如果打架行为导致对方轻伤，且你拒绝调解或赔偿，你可能会面临行政处罚和民事诉讼的双重法律后果。
- 在民事诉讼中，如果法院判决你承担赔偿责任，你需要支付相应的赔偿金额。
建议：
- 尽管对方不接受调解，但你仍然可以尝试通过其他途径与对方进行协商，以达成和解或赔偿协议。
- 如果无法协商，你应该积极准备应诉，包括收集证据、咨询律师等，以维护自己的合法权益。
总之，如果对方轻伤且不肯调解，你无法直接避免被起诉。你应该积极应对，通过法律途径解决纠纷，并尽可能减少自己的法律风险和损失。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。