在双方都是轻微伤的情况下，被害者是否承担责任，不能一概而论，需要结合具体案情和双方行为来判断。以下从不同角度为你详细分析：
一、从侵权责任构成要件角度分析
侵权责任的构成通常包括四个要件：行为、过错、损害事实和因果关系。在双方都是轻微伤的情况下：
行为：需要明确双方是否存在相互攻击或侵害对方身体的行为。如果被害者是在遭受对方攻击时进行的正当防卫，且防卫行为没有超过必要限度，那么被害者的行为不构成侵权。
过错：过错包括故意和过失。如果被害者没有故意或过失地侵害对方，而是对方主动挑衅或攻击，那么被害者通常不承担责任。但如果被害者也存在一定的过错，比如双方互相推搡、争吵中情绪失控动手等，那么可能需要根据双方的过错程度来分担责任。
损害事实：双方都是轻微伤，说明都遭受了一定的身体损害。但损害事实本身并不直接决定责任归属，还需要结合行为和过错来判断。
因果关系：需要明确双方的损害是否是由对方的行为直接导致的。如果被害者的轻微伤是由对方攻击造成的，而对方的轻微伤并非由被害者攻击造成（比如是自伤或意外），那么被害者通常不承担对方轻微伤的责任。
二、从具体案情角度分析
如果双方是互殴：在互殴的情况下，双方都可能存在一定的过错。如果双方过错相当，且都造成了对方轻微伤，那么可能需要根据具体情况来分担责任，比如各自承担自己的医疗费用等。但如果一方存在明显的过错或恶意攻击，那么该方可能需要承担更多的责任。
如果被害者是正当防卫：根据《民法典》的规定，因正当防卫造成损害的，不承担民事责任。如果被害者是在遭受对方攻击时进行的正当防卫，且防卫行为没有超过必要限度，那么被害者不承担对方轻微伤的责任。
如果存在其他特殊情况：比如一方存在特殊体质（如易受伤体质），或者一方在攻击时使用了危险物品等，这些都可能影响责任的归属和分担。
三、法律建议
收集证据：在发生纠纷后，双方应尽可能收集相关证据，如现场照片、视频、证人证言等，以便在后续处理中证明自己的主张。
及时报警：如果双方无法协商解决，应及时报警并寻求警方的帮助。警方会进行调查并出具相关证明，为后续的法律处理提供依据。
咨询专业律师：在处理此类纠纷时，建议咨询专业律师以获取更具体的法律建议。律师可以根据具体案情和法律规定，为你提供更准确的责任判断和解决方案。
总结来说，在双方都是轻微伤的情况下，被害者是否承担责任需要结合具体案情和双方行为来判断。如果双方存在互殴、一方存在过错或恶意攻击等情况，那么可能需要根据具体情况来分担责任。如果被害者是正当防卫或没有过错，则通常不承担责任。在处理此类纠纷时，建议收集证据、及时报警并咨询专业律师。如果你有具体的法律问题或需要进一步的帮助，请直接向我咨询。