结论前置：一般情况下，已经通过调解书生效并让出的房产份额，难以直接要回。但具体能否要回，还需根据实际情况判断。

详细分析：

1. 调解书的法律效力：

   • 调解书是法院或调解机构根据双方自愿、合法的原则，对纠纷进行调解后达成的书面协议。一旦调解书生效，即具有法律约束力，双方应当履行。
   • 在您的情况下，调解书已经生效，且您明确表示将继承的房子份额20%让给了弟弟。这意味着，从法律上讲，您已经放弃了这部分份额的所有权。

2. 能否要回已让出的份额：

   • 一般情况：一旦调解书生效，且没有法定事由（如欺诈、胁迫等），通常难以直接撤销或变更调解书的内容。因此，要回已让出的份额在法律上存在较大障碍。
   • 特殊情况：如果您能证明在调解过程中存在欺诈、胁迫等法定事由，或者调解书的内容违反了法律、行政法规的强制性规定，那么您可以向法院申请撤销或变更调解书。但这种情况较为罕见，且需要充分的证据支持。

3. 建议与后续行动：

   • 接受现实：如果调解书已经生效，且没有法定事由可以撤销或变更，那么您可能需要接受这一现实，即已让出的份额无法直接要回。
   • 协商解决：您可以尝试与弟弟进行协商，看是否能够达成某种补偿或交换协议。但这种方式需要弟弟的同意，且不一定能够成功。
   • 法律咨询：如果您对调解书的内容或执行有疑问，或者认为存在法定事由可以撤销或变更调解书，那么您可以咨询专业律师（比如我），了解具体的法律程序和可能性。

法律背景：

• 根据《中华人民共和国民事诉讼法》的相关规定，调解书是法院或调解机构根据双方自愿、合法的原则达成的书面协议，具有法律约束力。一旦调解书生效，双方应当履行。
• 如果要撤销或变更调解书，通常需要证明在调解过程中存在欺诈、胁迫等法定事由，或者调解书的内容违反了法律、行政法规的强制性规定。

最后提醒：在处理类似纠纷时，务必保持冷静和理性，通过合法途径解决问题。如果您有任何疑问或需要进一步的法律帮助，可以直接向我咨询。