结论：在您被诈骗的情况下，可以直接起诉对方持卡人要求退赔，但需满足一定条件并遵循相应法律程序。以下从不同角度为您详细分析：
一、起诉对方持卡人的法律基础
民事侵权角度：
- 如果对方持卡人明知或应知诈骗行为，仍提供账户协助转移资金，可能构成共同侵权或帮助侵权。根据《民法典》第一千一百六十五条，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。因此，您有权要求其赔偿损失。
- 关键点：需证明对方持卡人存在过错（如明知诈骗仍提供账户），且该过错与您的损失存在因果关系。
不当得利角度：
- 如果对方持卡人因诈骗行为获得了不当利益（即您的资金），根据《民法典》第九百八十五条，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。因此，您有权要求其返还资金。
- 关键点：需证明对方持卡人获得了不当利益，且该利益与您的损失直接相关。
二、起诉前的准备工作
收集证据：
- 诈骗行为的证据：如聊天记录、转账记录、诈骗网站或APP的截图等。
- 对方持卡人身份信息的证据：如银行账户信息、身份信息等（可通过报警后由公安机关协助调查获取）。
- 损失金额的证据：如转账凭证、银行流水等。
报警处理：
- 诈骗行为可能涉及刑事犯罪，建议您先向公安机关报案。公安机关立案侦查后，可能追回部分或全部损失，并为您提供相关证据支持民事诉讼。
咨询律师：
- 在起诉前，建议您咨询专业律师（如我），了解具体法律程序和诉讼策略，以确保您的权益得到最大保障。
三、起诉流程及注意事项
起诉流程：
- 撰写起诉状：明确被告信息、诉讼请求、事实和理由等。
- 提交法院：将起诉状及相关证据提交至有管辖权的法院。
- 法院审理：法院将依法审理案件，并作出判决。
注意事项：
- 管辖法院：一般由被告住所地或合同履行地法院管辖。在诈骗案件中，可能涉及多个管辖法院，需根据具体情况选择。
- 诉讼时效：根据《民法典》第一百八十八条，向人民法院请求保护民事权利的诉讼时效期间为三年。自权利人知道或应当知道权利受到损害以及义务人之日起计算。因此，请尽快起诉以避免超过诉讼时效。
- 执行问题：即使获得胜诉判决，如果对方持卡人无财产可供执行，您可能面临执行难的问题。因此，在起诉前，建议您尽可能了解对方持卡人的财产状况。
四、其他建议
联合其他受害者：
- 如果诈骗行为涉及多名受害者，您可以考虑联合其他受害者共同起诉，以降低诉讼成本并提高诉讼效率。
关注刑事案件进展：
- 如果公安机关已立案侦查，您可以关注案件进展，并积极配合公安机关的调查工作。在刑事案件中，如果犯罪嫌疑人被追回部分或全部损失，您可能有机会获得赔偿。
最后，如果您在起诉过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。我将根据您的具体情况，为您提供专业、全面的法律服务。