三人晚上拆你家围墙的行为，在未经你允许的情况下，通常是违法的。以下从不同角度为你详细分析：
一、从物权保护的角度
根据《中华人民共和国民法典》的相关规定，物权是权利人依法对特定的物享有直接支配和排他的权利，包括所有权、用益物权和担保物权。你的围墙作为你房屋的一部分，属于你的私有财产，你对其享有所有权。未经你的允许，任何人不得擅自破坏或拆除你的围墙。三人晚上拆你家围墙，显然侵犯了你的物权，你有权要求他们停止侵害、恢复原状，并赔偿因此造成的损失。
二、从治安管理的角度
如果三人的行为造成了你围墙的损坏，且情节较轻，可能构成违反《中华人民共和国治安管理处罚法》的行为。根据该法，故意损毁公私财物的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款。因此，你可以向公安机关报案，要求对三人进行治安处罚。
三、从刑事责任的角度
如果三人的行为造成了你围墙的严重损坏，且数额较大，或者存在其他严重情节，如多次实施此类行为、使用暴力手段等，可能构成故意毁坏财物罪。根据《中华人民共和国刑法》的相关规定，故意毁坏公私财物，数额较大或者有其他严重情节的，处三年以下有期徒刑、拘役或者罚金；数额巨大或者有其他特别严重情节的，处三年以上七年以下有期徒刑。在这种情况下，你可以向公安机关报案，要求追究三人的刑事责任。
四、特殊情况说明
当然，也存在一些特殊情况。比如，如果三人是在执行政府部门的拆迁决定，且该决定是合法有效的，那么他们的行为可能不构成违法。但即便如此，他们也应当在执行过程中遵守相关法律法规，确保你的合法权益不受侵害。如果他们对拆迁决定或执行过程有异议，应当通过合法途径解决，而不是擅自拆除你的围墙。
建议：
总之，三人晚上拆你家围墙的行为在未经你允许的情况下通常是违法的。你有权要求他们停止侵害、恢复原状，并赔偿因此造成的损失。如果情况严重，你还可以向公安机关报案或寻求法律帮助。