结论：根据您描述的情况，一般不能仅因女方拒绝回老家和拒绝赡养老人就起诉退回彩礼，但若符合法定彩礼返还条件，如未办理结婚登记、未共同生活或导致给付人生活困难等，可起诉要求返还彩礼。
分析说明：
彩礼返还的法定条件：
- 根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
- 双方未办理结婚登记手续；
- 双方办理结婚登记手续但确未共同生活；
- 婚前给付并导致给付人生活困难。
- 在您的情况下，双方已经结婚三年，且未提及未办理结婚登记或婚前给付导致生活困难的情况，因此，仅因女方拒绝回老家和拒绝赡养老人，并不直接构成彩礼返还的法定条件。
女方拒绝回老家和拒绝赡养老人的法律性质：
- 女方拒绝回老家，这主要涉及夫妻双方的居住安排问题，属于夫妻之间的内部事务，一般不构成法律上的违约或违法行为。
- 女方拒绝赡养老人，如果老人是女方的直系亲属（如父母），且女方有赡养能力而拒不赡养，则可能构成遗弃家庭成员的行为。然而，这一行为并不直接导致彩礼的返还，但可能构成离婚时的过错情形，影响财产分割和子女抚养权的判定。
可能的法律途径：
- 如果您希望解决女方拒绝赡养老人的问题，可以考虑通过法律途径要求女方履行赡养义务，但这与彩礼的返还是两个独立的法律问题。
- 如果您认为双方感情已经破裂，且符合离婚的法定条件，可以提起离婚诉讼。在离婚诉讼中，您可以就财产分割、子女抚养权以及可能存在的过错情形（如遗弃家庭成员）进行主张。
- 如果您希望返还彩礼，需要证明存在上述彩礼返还的法定条件之一。例如，如果您能证明婚前给付彩礼导致您生活困难，或者双方虽然办理了结婚登记但确未共同生活（尽管您提到已经分居三年，但需要证明这三年内双方并未共同生活过），则可能有机会要求返还彩礼。
行动建议：
- 收集证据：如果您希望返还彩礼，需要收集相关证据证明存在彩礼返还的法定条件。例如，证明婚前给付彩礼导致您生活困难的证据，或者证明双方虽然办理了结婚登记但确未共同生活的证据。
- 咨询专业律师：由于法律问题具有复杂性和个体差异性，建议您在采取任何法律行动前咨询专业律师，以便更准确地评估您的法律权益和可能的风险。
- 考虑和解或调解：在提起诉讼前，您可以考虑与女方进行和解或调解，以达成双方都能接受的解决方案。这不仅可以节省时间和金钱，还可以避免不必要的法律纠纷和伤害。
最后，婚姻家庭问题往往涉及复杂的情感和法律关系，需要谨慎处理。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。