结论前置：

1. 若您无合法权利或授权去拆除他人用砖头围起的设施，您的行为可能构成违法，需承担相应的法律责任。
2. 若您有合法权利或授权，且拆除行为符合法律规定和程序，则您的行为不违法。

详细分析：

首先，我们需要明确的是，拆除他人用砖头围起的设施，这一行为是否违法，关键在于您是否拥有合法的权利或授权来进行这样的拆除，以及拆除行为是否符合相关的法律规定和程序。

一、无合法权利或授权的情况

如果您没有合法的权利或授权去拆除他人用砖头围起的设施，那么您的行为很可能构成违法。具体来说，这种行为可能涉及以下几个方面：

1. 侵犯财产权：他人用砖头围起的设施，无论是临时性的还是永久性的，都可能构成他人的财产。未经允许擅自拆除，即侵犯了他人的财产权，需要承担相应的民事责任，如赔偿损失等。

2. 违反治安管理规定：根据《中华人民共和国治安管理处罚法》的相关规定，故意损毁公私财物的，可能面临罚款、拘留等行政处罚。

3. 可能构成犯罪：如果拆除行为造成的损失较大，或者存在其他恶劣情节，如使用暴力、威胁等手段进行拆除，那么您的行为可能构成犯罪，如故意毁坏财物罪等，需要承担刑事责任。

二、有合法权利或授权的情况

如果您有合法的权利或授权去拆除他人用砖头围起的设施，且拆除行为符合相关的法律规定和程序，那么您的行为就不违法。例如：

1. 基于物权：如果您是该设施所在土地的所有权人或使用权人，且该设施的建造未经您的同意或违反了相关的规划、建设等规定，那么您有权要求拆除该设施。但在此情况下，您也应通过合法的途径和程序来进行拆除，如向相关部门申请强制执行等。

2. 基于合同或授权：如果您与设施的所有权人或使用人之间存在合同关系或授权关系，且合同或授权中明确规定了您有权进行拆除，那么您的行为就是合法的。但同样，您也应按照合同或授权中的规定和程序来进行拆除。

法律建议：

在面临类似情况时，我建议您首先确认自己是否拥有合法的权利或授权来进行拆除。如果没有，那么您应避免擅自进行拆除，以免承担不必要的法律责任。如果您有合法的权利或授权，那么您也应确保拆除行为符合相关的法律规定和程序，以免因程序不当而引发纠纷或法律责任。

后续行动指南：

如果您对拆除行为的合法性存在疑问，或者已经面临了相关的法律纠纷，我建议您及时咨询专业的律师进行法律分析和指导。同时，您也应保留好相关的证据材料，如照片、视频、合同、授权书等，以便在需要时进行举证和维权。