在起诉离婚时，若过错方存在法定过错情形，无过错方确实有权要求过错方进行损害赔偿。这一结论主要基于《中华人民共和国民法典》第一千零九十一条的明确规定。以下是对这一问题的详细分析：
一、法定过错情形
根据《中华人民共和国民法典》第一千零九十一条，以下情形导致离婚的，无过错方有权请求损害赔偿：
重婚：指有配偶者再行与他人登记结婚或虽未登记但以夫妻名义共同生活的行为。例如，甲在与乙婚姻关系存续期间，又与丙登记结婚或以夫妻名义共同生活，乙在起诉离婚时可要求甲赔偿。
与他人同居：指有配偶者与婚外异性持续、稳定地不以夫妻名义共同居住。如甲在婚姻期间长期与丙在外租房共同生活，构成与他人同居，乙起诉离婚时可主张赔偿。
实施家庭暴力：包括殴打、捆绑、残害、限制人身自由以及经常性谩骂、恐吓等身体和精神侵害行为。例如，丈夫甲经常对妻子乙实施暴力，造成乙身体受伤，乙起诉离婚时有权要求赔偿。
虐待、遗弃家庭成员：虐待是持续性、经常性的家庭暴力；遗弃是对年老、年幼、患病或其他无独立生活能力的人负有扶养义务而拒绝扶养的行为。如丈夫甲长期对生病的妻子乙不管不顾，不提供必要的生活和治疗，乙起诉离婚时可要求甲赔偿。
有其他重大过错：这是一个兜底条款，具体由法院根据案件实际情况认定，可能包括严重的通奸行为、恶意转移夫妻共同财产、吸毒、赌博且屡教不改等严重违反婚姻义务的行为。
二、赔偿内容
损害赔偿主要包括两部分：
物质损害赔偿：指因过错方的行为导致的实际财产损失，如医疗费用、财产损坏的修复费用等。
精神损害赔偿：是对无过错方精神痛苦的抚慰，赔偿数额会根据侵权人的过错程度、侵害手段、场合、行为方式、侵权行为造成的后果、侵权人获利情况、承担责任的经济能力以及受诉法院所在地平均生活水平等因素综合确定。
三、注意事项与诉讼程序
提出时间：无过错方作为原告提起离婚诉讼并要求损害赔偿的，必须在离婚诉讼的同时提出。如果作为被告，不同意离婚也不提起损害赔偿请求的，可以在离婚后一年内单独提起诉讼。一审时未提出，二审期间提出的，法院应进行调解，调解不成则告知当事人在离婚后一年内另行起诉。
证据要求：要求离婚损害赔偿需要在法定期间内提出，并且必须提供相应的证据证明对方存在上述过错行为。法院将依据证据和法律规定作出判决。因此，收集并保存过错方的相关证据是获得赔偿的关键。
其他补偿：除损害赔偿外，如果夫妻一方因抚育子女、照料老年人、协助另一方工作等负担较多义务的，在离婚时也有权向另一方请求补偿。
四、实际案例
假设甲与乙结婚多年，甲在婚姻期间长期与丙保持不正当关系，并多次对乙实施家庭暴力，导致乙身心受到严重伤害。乙在决定起诉离婚时，可以依据《中华人民共和国民法典》第一千零九十一条的规定，要求甲进行物质损害赔偿和精神损害赔偿。法院在审理此案时，会根据乙提供的证据和甲的过错程度，综合确定赔偿数额。
总结来说，在起诉离婚时，若过错方存在法定过错情形，无过错方有权要求过错方进行损害赔偿。但需注意提出赔偿的时间、证据要求以及相关诉讼程序，以确保自身权益得到有效保护。如果你正面临类似情况，或有其他婚姻家庭方面的法律问题，都可以直接向我咨询。