结论：您直接推倒别人在您家土地上起的砖，这一行为是否犯法不能一概而论，需要分情况讨论。

1. 若您拥有该土地的合法使用权，且对方的行为构成侵权：

   • 在这种情况下，您有权要求对方停止侵害、排除妨碍、恢复原状。但直接推倒对方所起的砖，可能涉及“私力救济”的边界问题。法律鼓励通过合法途径解决纠纷，如协商、调解、诉讼等。若您直接采取推倒等激烈行为，虽然对方侵权在先，但您的行为也可能因超出必要限度而构成违法，比如可能涉嫌故意毁坏财物。
   • 建议：首先尝试与对方沟通，要求其停止侵权行为并恢复原状；若沟通无果，可向当地村委会、居委会或相关部门反映情况，寻求调解；若调解仍无法解决问题，您可以考虑通过法律途径，如起诉对方侵权，要求赔偿损失等。

2. 若您对土地的使用权存在争议，或您无法证明自己拥有合法使用权：

   • 在这种情况下，即使对方在土地上起了砖，您也不能直接推倒。因为土地使用权的争议需要通过法律程序来解决，如申请确权、提起诉讼等。若您直接推倒对方所起的砖，可能构成对对方财产权的侵害，需要承担相应的法律责任。
   • 建议：首先收集证据，证明自己对土地的使用权或相关权益；若证据不足或存在争议，可向当地土地管理部门申请确权；若确权无果或对方仍坚持侵权，您可以考虑通过法律途径解决争议，如提起诉讼等。

法律背景：

• 根据《中华人民共和国民法典》的相关规定，物权受到侵害的，权利人可以通过和解、调解、仲裁、诉讼等途径解决。侵害物权，造成权利人损害的，权利人可以依法请求损害赔偿，也可以依法请求承担其他民事责任。
• 同时，法律也规定了私力救济的边界，即权利人在行使权利时，不得损害国家利益、社会公共利益和他人合法权益。若超出必要限度，可能构成违法或犯罪。

后续行动建议：

• 在处理此类纠纷时，务必保持冷静和理性，避免采取过激行为。
• 积极收集证据，证明自己的权益和对方的侵权行为。
• 寻求专业法律帮助，如咨询律师或相关法律机构，以更好地维护自己的合法权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。