邻居扰民，非法侵入后意识到不当又立即退回，仍然构成非法侵入住宅罪，但属于犯罪中止，可以减轻或免除处罚。以下是详细分析：

一. 非法侵入住宅罪的构成

1. 法律依据：根据《刑法》第二百四十五条第一款的规定：“非法搜查他人身体、住宅，或者非法侵入他人住宅的，处三年以下有期徒刑或者拘役”。这表明，非法侵入住宅的行为即构成犯罪，并不要求侵入时间长短或造成严重后果。
2. 行为分析：在本问题中，邻居扰民并非法侵入住宅，即使其后来意识到不当并立即退回，但侵入行为已经发生，且未经住宅主人同意。

二. 犯罪中止的认定

1. 法律依据：根据《刑法》第二十四条第一款的规定：“在犯罪过程中，自动放弃犯罪或者自动有效地防止犯罪结果发生的，是犯罪中止”。这表明，犯罪中止要求行为人在犯罪过程中自动放弃犯罪，并有效地防止犯罪结果的发生。
2. 行为分析：在本问题中，邻居在非法侵入住宅后，意识到行为不当并立即退回，这表明其有自动放弃犯罪的意图和行为。虽然侵入行为已经完成，但退回行为表明其没有继续实施其他犯罪行为的意图，也没有造成更严重的后果。

三. 法律责任与处罚

1. 法律依据：根据《刑法》第二十四条第二款的规定：“对于中止犯，没有造成损害的，应当免除处罚；造成损害的，应当减轻处罚”。这表明，对于犯罪中止的行为人，根据其是否造成损害以及损害的程度，可以减轻或免除处罚。
2. 处罚分析：在本问题中，邻居的非法侵入行为虽然构成犯罪，但由于其意识到不当并立即退回，属于犯罪中止。若其行为未造成实际损害或损害较小，可以依法减轻或免除处罚。

综上所述，邻居扰民并非法侵入住宅后意识到不当又立即退回的行为，仍然构成非法侵入住宅罪，但属于犯罪中止。根据其是否造成损害以及损害的程度，可以依法减轻或免除处罚。我建议您与邻居进行沟通，提醒其注意行为举止，避免再次发生类似情况。如有进一步需要，您可以继续咨询我。