结论：哥哥给弟弟打工20年，走后能否要点辛苦费，这主要取决于双方是否存在明确的约定以及该约定是否合法有效。若双方有明确约定且合法，则哥哥有权要求弟弟支付辛苦费；若无明确约定或约定不合法，则哥哥的要求可能无法得到法律支持。

分析说明：

1. 存在明确约定且合法的情况：

   • 如果哥哥和弟弟在打工期间有明确的书面或口头约定，比如约定了除了月工资外，弟弟还需在哥哥离职时支付一定的辛苦费或奖金，且这种约定不违反法律法规的强制性规定，那么哥哥在离职时有权要求弟弟按照约定支付辛苦费。
   • 法律依据：根据《中华人民共和国民法典》的相关规定，民事主体从事民事活动，应当遵循自愿原则，按照自己的意思设立、变更、终止民事法律关系。因此，双方之间的约定只要合法有效，就应当受到法律的保护。

2. 不存在明确约定或约定不合法的情况：

   • 如果哥哥和弟弟之间没有明确的约定关于辛苦费的支付，或者虽然存在约定但该约定违反了法律法规的强制性规定（比如约定了过高的辛苦费，实际上构成了非法的高额利息或剥削），那么哥哥在离职时要求弟弟支付辛苦费的要求可能无法得到法律的支持。
   • 法律依据：同样根据《中华人民共和国民法典》的相关规定，民事法律行为不得违反法律、行政法规的强制性规定，不得违背公序良俗。因此，任何违法的约定都是无效的，不受法律保护。

特殊场景：

• 如果哥哥在打工期间除了完成正常的工作任务外，还额外承担了大量的、超出正常工作范围的工作，且这些工作对弟弟的经营或生活产生了显著的积极影响，那么哥哥在离职时可以尝试与弟弟协商，看是否能够获得一定的补偿或辛苦费。但这种补偿或辛苦费的支付仍然需要基于双方的自愿和合法原则。

行动建议：

• 哥哥可以先回顾自己与弟弟之间的打工协议或相关约定，看是否存在关于辛苦费的明确条款。
• 如果存在明确约定且合法，哥哥可以依据约定向弟弟提出支付辛苦费的要求。
• 如果不存在明确约定或约定不合法，哥哥可以尝试与弟弟进行协商，看是否能够达成一个双方都能接受的补偿方案。
• 如果协商无果，哥哥可以考虑通过法律途径来维护自己的权益，但在此之前最好先咨询专业的法律人士，了解自己的权益和可能的法律后果。

后续思考：

• 在未来的打工或雇佣关系中，建议双方都明确约定好各项权益和义务，包括工资、奖金、辛苦费等，以避免类似的纠纷发生。
• 如果双方之间存在亲属关系，更应当注重约定的明确性和合法性，以免因为亲情因素而忽视了法律的规定和保护。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。