结论：在拆迁房只有拆迁协议的情况下，你和弟弟如何分配，主要取决于拆迁协议中的约定、房屋的产权归属以及家庭内部的协商情况。以下是从不同角度进行的分析：

一、拆迁协议中的约定

1. 明确约定分配方式：

   • 如果拆迁协议中已经明确约定了拆迁房的分配方式，比如按照人口、面积或其他标准进行分配，那么应当遵循协议中的约定进行分配。

2. 未明确约定分配方式：

   • 如果拆迁协议中未明确约定分配方式，那么需要依据其他因素来确定分配方案。

二、房屋的产权归属

1. 房屋为共有财产：

   • 如果拆迁房是家庭共有财产，比如父母名下的房屋被拆迁，那么你和弟弟作为家庭成员，通常有权按照一定比例分享拆迁补偿。这个比例可能根据家庭内部的约定、贡献大小或其他因素来确定。

2. 房屋为个人财产：

   • 如果拆迁房原本属于你或你弟弟的个人财产，那么拆迁补偿原则上应归该个人所有。但考虑到家庭关系，也可以协商进行部分或全部的共享。

三、家庭内部的协商

1. 协商分配方案：

   • 在拆迁房分配问题上，家庭内部的协商是非常重要的。你可以和弟弟坐下来，根据各自的实际情况、需求以及家庭关系，共同协商一个合理的分配方案。

2. 签订书面协议：

   • 为了避免未来可能出现的纠纷，建议将协商好的分配方案以书面形式固定下来，并由双方签字确认。这样，在后续的执行过程中，就有明确的依据可循。

四、法律途径解决纠纷

1. 调解：

   • 如果家庭内部协商无法达成一致，可以考虑寻求第三方调解机构的帮助，如社区调解委员会、人民调解委员会等。这些机构可以提供中立的调解服务，帮助双方达成和解。

2. 诉讼：

   • 如果调解也无法解决问题，那么可能需要通过法律途径来解决纠纷。你可以向法院提起诉讼，要求法院根据相关法律法规和实际情况，对拆迁房的分配问题作出判决。

建议：

• 在处理拆迁房分配问题时，建议保持冷静和理性，避免情绪化的决策。
• 尽可能收集相关的证据和资料，如拆迁协议、房屋产权证明、家庭关系证明等，以便在协商或诉讼过程中提供有力的支持。
• 如果对法律程序或相关规定不熟悉，建议咨询专业的律师或法律机构，以获取更准确的法律意见和帮助。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。