结论是：建房时借兄弟的钱是否需要还，取决于借款合同的具体约定以及相关法律规定。 以下从不同角度为您详细分析：
一、借款合同合法有效的情况
合同约束力：
- 如果您与兄弟之间签订了合法有效的借款合同，并且合同中明确约定了借款金额、用途（如建房）、还款时间及方式等关键条款，那么您作为借款人，就受到该合同的约束。
- 根据合同法的相关规定，借款人应当按照约定的期限返还借款。因此，在这种情况下，您需要按照合同约定履行还款义务。
还款责任：
- 借款用于建房并不影响您的还款责任。无论借款用途如何，只要合同合法有效，您就有义务按照约定还款。
- 如果到期未还，出借人（即您的兄弟）有权通过法律途径追讨本金及利息（如果合同中有约定利息的话）。
二、借款合同存在瑕疵或无效的情况
合同瑕疵：
- 如果借款合同存在瑕疵，如未明确约定还款时间、方式或利息等关键条款，或者合同内容存在歧义，那么可能需要通过协商、调解或诉讼等方式来解决争议。
- 在这种情况下，是否需要还款以及还款的具体金额和方式，可能需要根据实际情况和法律规定进行判断。
合同无效：
- 如果借款合同因违反法律、行政法规的强制性规定或公序良俗而无效，那么您可能不需要按照合同约定还款。
- 但是，如果合同无效是因为您的原因（如欺诈、胁迫等），那么您可能需要承担相应的法律责任，包括返还借款或赔偿损失等。
三、特殊情况下的还款责任
建房行为违法违规：
- 如果您建房的行为涉及违法违规（如未取得合法建房手续），这并不免除您正常借款的还款责任。
- 建房行为的违法违规性可能引发其他问题（如行政处罚、拆除房屋等），但这与借款合同的还款义务是两个独立的法律关系。
兄弟间的特殊关系：
- 虽然您与兄弟之间存在特殊的亲情关系，但这并不影响借款合同的法律效力。
- 亲情关系不能成为免除还款义务的理由。如果合同合法有效，您仍然需要按照约定还款。
法律建议
审查合同：
- 首先，您需要仔细审查与兄弟之间签订的借款合同，确保合同内容合法、有效且明确。
协商解决：
- 如果存在争议或疑问，建议您与兄弟进行友好协商，尝试达成和解或修改合同条款。
寻求法律帮助：
- 如果协商无果或争议较大，您可以寻求专业的法律帮助，如咨询律师或申请调解、仲裁等。
最后需要强调的是，无论借款用于何种用途，只要借款合同合法有效，借款人就有义务按照约定还款。如果您对借款合同或还款责任有任何疑问或争议，建议及时咨询专业律师以获取准确的法律意见。有问题可以直接向我咨询。