不可以随便盖，即使不影响左右邻居，农村房推倒重建也必须依法办理相关手续，否则可能构成违法建设。以下从多个角度为你详细分析：

1. 法律层面

• 规划许可要求：根据《中华人民共和国城乡规划法》的规定，在乡、村庄规划区内进行农村村民住宅建设，不得占用农用地；确需占用农用地的，应当依照《中华人民共和国土地管理法》有关规定办理农用地转用审批手续后，由城市、县人民政府城乡规划主管部门核发乡村建设规划许可证。也就是说，农村房屋推倒重建，需要先取得乡村建设规划许可证，这是合法建设的前提。
• 建设许可要求：除了规划许可，在取得乡村建设规划许可证后，还需要按照当地的规定办理建设工程施工许可证等相关手续（部分地区对于一定规模以下的农村自建房可能简化程序，但仍需符合基本要求）。只有手续齐全，建设行为才合法。

2. 实际影响层面

• 即使不影响邻居当下权益，也可能存在潜在风险：虽然目前看似不影响左右邻居的采光、通风、通行等权益，但在建设过程中或者建成后，可能会因为房屋高度、面积等因素的变化，对邻居的权益产生间接影响。例如，新建房屋可能改变了原有的排水走向，导致邻居房屋在雨季出现积水问题。
• 可能影响公共利益和整体规划：农村的建设也需要遵循整体的规划和布局，以保障农村的可持续发展和公共利益的实现。如果随意推倒重建，可能会破坏农村的整体风貌和规划秩序，影响基础设施的建设和配套。

3. 违规后果层面

• 行政处罚：如果未经批准擅自推倒重建农村房屋，城乡规划主管部门有权责令停止建设、限期改正；逾期不改正的，可以拆除。这意味着你可能面临房屋被强制拆除的风险，同时还会承担拆除过程中的相关费用。
• 经济损失：除了房屋被拆除的损失外，你还可能因为违规建设而面临罚款等行政处罚，造成不必要的经济损失。而且，如果因为违规建设与邻居产生纠纷，还可能需要承担民事赔偿责任。

建议：在推倒重建农村房屋之前，一定要先了解当地的相关政策和规定，按照法定程序办理好各项手续。如果在办理手续过程中遇到问题，可以直接向我咨询，我会为你提供详细的解答和指导。