结论：针对您提出的“离婚协议上男方给女方5万，过了6年没证据要不回来，去法院起诉要准备什么”的问题，若确实没有直接证据，起诉将面临较大困难，但仍可尝试通过收集间接证据、申请法院调查取证等方式来维护自身权益。以下是从不同角度给出的详细分析和建议。

一、证据收集的重要性与困难

在离婚协议纠纷中，证据是法院认定事实、作出判决的关键依据。您提到已经过了6年且没有直接证据（如转账记录、收条等）来证明男方未履行支付5万的义务，这确实给起诉带来了很大的困难。因为根据“谁主张，谁举证”的原则，您需要承担举证责任，证明男方未按照离婚协议履行支付义务。

二、可能的间接证据与收集方法

尽管没有直接证据，但您仍可以尝试收集一些间接证据来支持您的主张，例如：

1. 沟通记录：查找与男方就离婚协议支付问题进行的沟通记录，如短信、微信、邮件等。这些记录可能包含男方承认未支付或表示将支付的言论。
2. 证人证言：寻找可能知晓此事的证人，如共同的朋友、家人或离婚时的调解人等。他们的证言可能在一定程度上证明男方未履行支付义务。
3. 男方经济状况变化：收集男方在离婚后的经济状况变化证据，如收入证明、财产变动情况等。如果男方在离婚后经济状况显著改善，但未支付约定款项，这可能间接证明其未履行义务。

三、申请法院调查取证

如果您确实无法自行收集到有效证据，可以在起诉时向法院申请调查取证。根据《中华人民共和国民事诉讼法》的相关规定，当事人及其诉讼代理人因客观原因不能自行收集的证据，或者人民法院认为审理案件需要的证据，人民法院应当调查收集。您可以向法院说明情况，请求法院调取男方的银行流水、财产变动记录等相关证据。

四、起诉前的准备与注意事项

1. 撰写起诉状：明确诉讼请求、事实和理由，并附上相关证据（尽管可能有限）。
2. 准备诉讼材料：包括身份证、离婚协议书、可能的间接证据等。
3. 了解诉讼流程：熟悉起诉、受理、审理、判决等诉讼流程，以便更好地应对诉讼。
4. 考虑诉讼风险：由于证据有限，诉讼结果可能存在不确定性。您需要做好心理准备，并考虑是否接受调解或其他解决方式。

五、可能的法律后果与建议

1. 如果法院认定男方未履行支付义务：男方可能需要支付约定的5万元及可能的逾期利息或违约金。
2. 如果法院无法认定男方未履行支付义务：由于证据不足，您的诉讼请求可能被驳回。此时，您可以考虑与男方协商解决，或者寻找其他途径来维护自身权益。

建议：在起诉前，尽量收集更多间接证据来支持您的主张。同时，也可以考虑咨询专业律师（即我本人，郑素洁律师，专注于婚姻家庭等领域），以获取更具体的法律建议和指导。如果您有任何法律问题，都可以直接向我咨询。