没有正当行使监护权，确实可能构成违法行为，其严重性和后果取决于具体的行为和情况。

首先，从法律角度来看，监护人有责任确保被监护人的安全、健康以及合法权益不受侵害。如果监护人未能履行这些职责，就可能面临一系列的法律责任。例如，根据我国相关法律规定，监护人如果虐待、遗弃或暴力伤害被监护人，尤其是未成年人，将可能受到训诫、行政处罚，甚至可能被剥夺监护权。

具体来说，如果监护人拒不履行监护职责长达六个月以上，导致未成年人流离失所或者生活无着，或者存在性侵害、出卖、遗弃、虐待、暴力伤害未成年人等严重行为，人民法院有权判决撤销其监护人资格。此外，如果监护人的行为构成犯罪，如遗弃罪，还可能被追究刑事责任。

然而，也需要注意到，法律在剥夺监护人资格或追究其法律责任时，也会考虑到传统观念和社会实际情况，审慎行使权力。对于那些经过批评教育、处罚后能够改正，并愿意再次履行监护人职责的，法律也提供了恢复监护人资格的可能性。

总的来说，没有正当行使监护权是违法的，监护人应当认真履行自己的职责，确保被监护人的合法权益得到保障。如果监护人无法或不愿履行监护职责，应当及时寻求法律帮助，以避免可能的法律后果。同时，社会各方面也应当加强对监护人的监督和指导，共同维护被监护人的合法权益。