结论：人不在家时房子被兄弟拆除，这一行为是否违法以及是否会被判刑，取决于多个因素，包括拆除行为的性质、是否构成犯罪以及具体的法律后果等。以下从不同角度进行详细分析。
一、拆除行为的性质
非法拆除：
- 如果兄弟未经你同意，擅自拆除你的房屋，且没有合法的拆迁手续或授权，那么这一行为很可能构成非法拆除。非法拆除他人房屋是侵犯他人财产权的行为，根据《中华人民共和国民法典》的相关规定，你有权要求兄弟停止侵害、恢复原状或赔偿损失。
合法拆除的误解：
- 即便兄弟认为拆除行为有某种“理由”（如家庭内部纠纷、继承问题等），但这并不构成合法拆除的依据。除非经过法律程序，如法院判决或双方协商一致并签订书面协议，否则任何未经授权的拆除行为都是非法的。
二、是否构成犯罪
故意毁坏财物罪：
- 如果兄弟的拆除行为是故意的，且造成了较大的财产损失，那么这一行为可能构成故意毁坏财物罪。根据《中华人民共和国刑法》第二百七十五条的规定，故意毁坏公私财物，数额较大或者有其他严重情节的，处三年以下有期徒刑、拘役或者罚金；数额巨大或者有其他特别严重情节的，处三年以上七年以下有期徒刑。
其他犯罪可能性：
- 如果拆除行为过程中还涉及其他违法行为，如暴力、威胁等手段，那么还可能构成其他犯罪，如寻衅滋事罪、故意伤害罪等。
三、法律后果与应对措施
民事赔偿：
- 无论拆除行为是否构成犯罪，你都有权要求兄弟赔偿因拆除行为造成的损失。这包括房屋的重置成本、搬迁费用、临时安置费用等。
刑事追责：
- 如果拆除行为构成犯罪，你可以向公安机关报案，要求追究兄弟的刑事责任。公安机关将依法进行调查取证，并根据证据情况决定是否立案侦查。
证据收集与保存：
- 在处理此类纠纷时，证据的收集与保存至关重要。你应尽快收集与房屋拆除相关的证据，如照片、视频、证人证言等，以便在后续的法律程序中证明自己的权益。
四、特殊情况考虑
家庭内部纠纷：
- 如果拆除行为源于家庭内部纠纷，如继承问题、分家析产等，建议优先考虑通过协商、调解等和平方式解决。这有助于维护家庭关系，避免矛盾进一步激化。
法律程序：
- 在处理此类纠纷时，应严格遵守法律程序。不要采取私力救济的方式，如自行拆除兄弟的房屋或采取其他暴力手段，这可能导致自己陷入法律纠纷。
建议：
- 立即与兄弟沟通，了解拆除行为的具体原因和背景，尝试通过协商解决问题。
- 如果协商无果，且拆除行为确实侵犯了你的权益，建议尽快咨询专业律师（即我，代雨庭律师），以便制定合适的法律策略。
- 在处理纠纷过程中，保持冷静和理性，避免采取过激行为导致矛盾升级。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。