核心结论：在证据不足的情况下，要追回被以借贷方式骗走的4万多，可尝试从收集证据、报警处理、民事诉讼这几个方面入手，下面为你详细阐述。

收集证据

虽然目前缺少证据，但并非完全没有机会收集到。可以从以下几个方面努力：

1. 寻找书面证据：仔细查找家中是否有与这笔借贷相关的书面材料，比如借条、欠条、借款合同等，即使这些材料可能存在一些瑕疵或不完整，也可能对证明借贷关系和诈骗事实有帮助。同时，查看是否有与对方的聊天记录、短信等，其中可能包含对方承认借款或存在欺骗行为的表述。
2. 寻找证人证言：了解是否有其他人知晓这笔借贷情况，比如儿子的朋友、邻居等。他们可能目睹了儿子与对方交流的过程，或者听到过相关对话，他们的证言可以作为辅助证据。
3. 收集资金流向证据：查询银行流水、转账记录等，明确这4万多的资金是如何转出的，转给了哪个账户。如果能够证明资金是按照对方的指示转出，且对方存在欺骗行为，这将对案件的认定起到重要作用。

报警处理

1. 向公安机关报案：由于对方是以借贷方式骗取钱财，可能涉嫌诈骗罪。尽快陪同儿子到当地公安机关报案，详细陈述事情的经过，包括借款的时间、地点、方式，对方是如何欺骗儿子的等。将收集到的所有证据，无论是否完整，都提供给公安机关。
2. 配合公安机关调查：在公安机关立案调查后，要积极配合他们的工作，按照要求提供进一步的线索和信息。如果公安机关需要儿子进行辨认、作证等，要协助儿子做好相关准备。

民事诉讼

1. 确定诉讼主体和诉讼请求：如果公安机关认为不构成刑事犯罪，或者经过刑事侦查后未能追回损失，可以考虑向法院提起民事诉讼。将对方列为被告，诉讼请求可以是要求对方返还借款及支付相应的利息（如果有约定）或赔偿损失。
2. 准备诉讼材料：除了前面收集的证据外，还需要准备起诉状，明确写明原告（儿子）、被告的基本信息，诉讼请求、事实与理由等内容。事实与理由部分要详细阐述借贷的经过和对方欺骗的行为，以及因此给儿子造成的损失。
3. 参加庭审：在法院受理案件后，要按照法院通知的时间参加庭审。在庭审过程中，要清晰、准确地陈述事实，提供证据，回答法官和对方当事人的提问。如果儿子因智力残疾无法清晰表达，可以申请法院指定法定代理人代为诉讼。

在整个过程中，由于涉及法律程序和证据收集等专业问题，可能会比较复杂和困难。如果你还有其他疑问或需要进一步的帮助，随时都可以问我。