结论前置：您仍然有权起诉邻居，即使他已经将过界的砖取走。
法律背景与解释：
侵权行为的持续性：
- 邻居之前将建筑部分伸入您的地盘，这一行为已经构成了对您土地使用权的侵犯。侵权行为一旦发生，并不因为后续的改正（如取走过界的砖）而完全消除其法律后果。您有权就之前的侵权行为主张权利。
损害结果的认定：
- 侵权行为可能已经给您造成了实际的损害，比如土地使用受限、心理上的不适等。这些损害结果并不因为侵权行为的停止而立即消失，您有权要求侵权人（即您的邻居）承担相应的赔偿责任。
证据的收集与保存：
- 在起诉前，您需要收集并保存好相关证据，以证明邻居之前确实存在侵权行为。这些证据可以包括照片、视频、证人证言等。即使邻居现在已经取走了过界的砖，这些证据仍然可以证明他之前的侵权行为。
法律建议：
及时咨询并准备起诉：
- 鉴于邻居已经意识到可能面临法律纠纷并采取了改正措施，这可能表明他对自己行为的违法性有所认识。为了维护您的合法权益，建议您及时咨询专业律师（即我，孙影福律师，专注于房产纠纷等领域），并准备起诉材料。
明确诉讼请求：
- 在起诉时，您需要明确您的诉讼请求，比如要求邻居停止侵权行为、恢复原状、赔偿损失等。根据您的具体情况和证据情况，律师会帮助您制定合适的诉讼策略。
注意诉讼时效：
- 请注意，民事诉讼有一定的时效期限。一般来说，向人民法院请求保护民事权利的诉讼时效期间为三年。因此，您需要在知道或应当知道权利受到损害以及义务人之日起三年内提起诉讼。
可能的法律后果：
- 如果法院认定邻居确实存在侵权行为，并且给您造成了损害，那么邻居可能需要承担停止侵权、恢复原状、赔偿损失等民事责任。
- 如果邻居的侵权行为情节严重，还可能构成犯罪（如非法侵入住宅罪等），但这种情况相对较少见，且需要具体证据支持。
进一步思考：
- 在起诉前，您也可以考虑与邻居进行协商，看是否能够达成和解协议。这样既可以节省诉讼成本和时间，也有助于维护邻里关系。
- 如果协商无果或者您认为协商无法达到您的预期效果，那么起诉将是维护您合法权益的有效途径。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。