在代位权纠纷中，并非只要没有起诉或仲裁就认定为怠于主张债权。

代位权的怠于行使，需要从多个方面进行综合认定。首先，债务人对于其到期的债权，拥有却不主动行使，即未通过诉讼或仲裁等具有法律效力的方式向次债务人主张权利。其次，这种怠于行使权利的行为必须对债权人的债权实现造成了实质性的损害。如果债务人虽然未积极主张债权，但并未对债权人的权益产生实质性的影响，例如债务人还有其他财产可供执行，能够保障债权人的利益，那么就不能简单地认定为怠于行使。

具体来说，根据《中华人民共和国民法典》及相关司法解释的规定，债务人怠于行使其对第三人的到期债权，影响债权人债权实现的，债权人可以向人民法院请求以自己的名义代位行使债务人对相对人的权利。这里的“怠于行使”是指债务人不以诉讼方式或者仲裁方式向次债务人主张其享有的具有金钱给付内容的到期债权。若债务人仅以私力救济方式，如口头催讨等向次债务人主张权利，仍属于怠于行使。法律如此规定，是为了避免债务人表面主张权利，实际却因缺乏强制力保障而无法实现债权，从而损害债权人的利益。

因此，在判断是否构成怠于主张债权时，需要综合考虑债务人的态度、行为以及对债权人利益的影响等多个因素。如果债务人确实存在怠于行使债权的情况，并且已经对债权人的债权实现造成了损害，那么债权人可以依法向法院提起代位权诉讼，维护自己的合法权益。