在没有直接证据的情况下，要回爸妈拿走的钱确实存在一定难度，但并非完全不可能，具体需分情况讨论：
一、若涉及家庭内部赠与或借贷的模糊情形
赠与情况：
- 如果爸妈拿走的钱原本就是赠与给你的，且没有明确的书面赠与合同或其他直接证据证明这一赠与行为，那么从法律上讲，这笔钱一旦交付，赠与行为即完成，你很难再要求返还。因为赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同，赠与完成后，除非存在法定撤销情形（如严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行、不履行赠与合同约定的义务等），否则赠与人不得撤销赠与。
借贷情况：
- 如果爸妈拿走的钱是你借给他们的，但同样没有书面借条或其他直接证据，那么你需要通过其他间接证据来证明借贷关系的存在。这可能包括转账记录（如果转账时备注了借款用途）、聊天记录（如双方关于借款的对话）、证人证言（如知道借款事宜的亲友）等。根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，出借人向人民法院提起民间借贷诉讼时，应当提供借据、收据、欠条等债权凭证以及其他能够证明借贷法律关系存在的证据。虽然直接证据缺失，但间接证据如果形成完整证据链，也有可能被法院采信。
二、若涉及家庭共同财产或不当得利
家庭共同财产：
- 如果爸妈拿走的钱属于家庭共同财产，且他们的行为损害了你的合法权益（如未经你同意擅自处分共同财产），那么你可以根据《民法典》中关于家庭共同财产的规定，要求他们返还或赔偿。但同样，你需要提供证据证明这笔钱属于家庭共同财产，以及他们的行为确实损害了你的权益。
不当得利：
- 如果爸妈拿走的钱没有合法依据，且造成了你的损失，那么你可以根据《民法典》中关于不当得利的规定，要求他们返还。不当得利是指没有合法根据，使他人受到损失而自己获得了利益。在这种情况下，你需要证明他们获得利益没有合法依据，且你的损失与他们获得利益之间存在因果关系。
三、建议与措施
收集证据：
- 尽管直接证据可能缺失，但你可以尝试收集所有可能的间接证据，如转账记录、聊天记录、证人证言等，以形成完整证据链。
协商沟通：
- 在采取法律行动之前，尝试与爸妈进行协商沟通，看是否能够达成和解。家庭纠纷往往涉及情感因素，通过协商沟通可能更容易解决问题。
寻求法律帮助：
- 如果协商沟通无果，你可以咨询专业律师（比如我），了解你的法律权益和可能的法律途径。律师可以根据你的具体情况，为你提供专业的法律建议和帮助。
总结来说，没有直接证据要回爸妈拿走的钱确实存在挑战，但并非完全不可能。关键在于你是否能够收集到足够的间接证据来证明你的主张，以及你是否能够采取合适的法律途径来维护自己的权益。如果你有任何进一步的问题或需要更具体的法律建议，请随时向我咨询。