社区或街道直接罢免楼栋长或单元长的行为，通常违背了关于居民自治和选举罢免程序的相关法规。具体来说，可以从以下几个角度进行分析：
居民自治原则：
- 根据《中华人民共和国城市居民委员会组织法》等相关法律法规，居民委员会（包括其下属的楼栋长、单元长等职务）的选举和罢免应当遵循居民自治的原则，即由居民直接选举产生，并接受居民的监督。
- 社区或街道作为行政机关或其派出机构，并不直接拥有罢免楼栋长或单元长的权力。这种权力应当属于居民会议或居民代表会议，通过民主程序来行使。
选举罢免程序：
- 罢免楼栋长或单元长通常需要遵循一定的程序，如提出罢免动议、召开居民会议或居民代表会议进行讨论和表决等。
- 社区或街道如果未经这些法定程序，直接罢免楼栋长或单元长，就构成了对居民自治权利的侵犯，也违背了选举罢免的法定程序。
可能的法律后果：
- 如果社区或街道的行为被认定为违法，那么罢免决定可能被撤销，楼栋长或单元长可能恢复原职。
- 同时，相关责任人员可能面临行政处分或法律责任，具体取决于行为的严重性和造成的后果。
建议：
- 如果楼栋长或单元长认为自己的罢免决定违法，可以向社区或街道提出异议，并要求按照法定程序重新进行罢免表决。
- 如果异议未得到妥善处理，可以向当地的居民委员会、街道办事处或相关政府部门进行投诉和举报，寻求法律援助和保护。
- 在整个过程中，建议保留好相关证据，如罢免决定、会议记录、投票结果等，以便在需要时提供证明。
进一步思考：
- 居民自治是城市社区治理的重要原则，任何侵犯居民自治权利的行为都应当受到法律的制约和惩罚。
- 在实际操作中，社区或街道应当尊重居民的选举和罢免权利，遵循法定程序，确保社区治理的公正性和透明度。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。