结论：在您描述的情况下，作为借款人或担保人被骗走的财产，在特定条件下是有可能退还的。这主要取决于诈骗罪的认定、虚假诉讼的处理以及财产追缴与退赔的程序。
详细分析：
诈骗罪的认定与处理：
- 如果实际出借人因诈骗罪被刑事拘留或逮捕，并且该诈骗行为被法院最终认定，那么出借人通过诈骗手段获得的财产将被视为非法所得。
- 根据《中华人民共和国刑法》的相关规定，诈骗犯罪所得应当予以追缴或者责令退赔给被害人。这里的“被害人”即包括您这样的借款人或担保人，如果你们因出借人的诈骗行为而遭受了财产损失。
虚假诉讼的处理：
- 虚假诉讼是指当事人出于非法的动机和目的，利用法律赋予的诉讼权利，采取虚假的诉讼主体、事实及证据的方法提起民事诉讼，使法院作出错误的判决、裁定、调解的行为。
- 如果出借人通过虚假诉讼的方式试图非法占有您的财产，一旦这一行为被揭露并证实，法院将撤销相关判决或裁定，并可能对出借人进行处罚。
- 在虚假诉讼被撤销后，您有权要求恢复原状，即返还被非法占有的财产。
财产追缴与退赔程序：
- 在刑事案件中，如果出借人被认定犯有诈骗罪，法院将启动财产追缴程序，以追回其非法所得。
- 追缴到的财产将按照法定程序进行退赔，优先退赔给直接受害人，即您这样的借款人或担保人。
- 如果追缴到的财产不足以退赔所有受害人的损失，法院将根据各受害人的损失比例进行分配。
特殊情况与建议：
- 证据收集：为了支持您的退赔请求，您需要收集并保存所有与诈骗行为和虚假诉讼相关的证据，如借款合同、担保合同、转账记录、聊天记录等。
- 及时报案：一旦发现出借人存在诈骗行为或虚假诉讼，您应立即向公安机关报案，并配合调查工作。
- 法律程序：在刑事案件处理过程中，您可以作为被害人参与诉讼，提出退赔请求，并关注案件的进展情况。
- 咨询专业意见：由于每个案件的具体情况都有所不同，我建议您在处理此类问题时咨询专业律师的意见，以确保您的权益得到充分保障。
后续行动建议：
- 如果您已经遭受了财产损失，并且怀疑出借人存在诈骗行为或虚假诉讼，请立即收集证据并报案。
- 在等待刑事案件处理结果的同时，您可以考虑通过民事诉讼的方式要求出借人返还财产或赔偿损失。但请注意，这需要在刑事案件有明确结论后再进行，以避免与刑事案件产生冲突。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。