针对您提出的“社保两地领要求退回对方是起诉还是自己联系”的问题，以下是我为您提供的详细解答：
首先，需要明确的是，社保两地领取属于违规领取社会保险待遇的情形，这主要包括在同一制度内、跨制度或跨险种重复享受待遇。根据相关规定，对于这种违规行为，社保经办机构会通过信息比对、上门核实、异地协查等方式核查确认违规事实，并向当事人送达书面告知书，明确违规细节、退款要求及合法权利。
关于退回方式：
自行联系退回：
- 当您收到社保经办机构的书面告知书后，应首先自行核对违规事实，并确认需要退回的社保待遇金额。
- 您可以主动联系社保经办机构，了解具体的退款流程和要求，并按照要求一次性全额退回或申请分期退款（期限原则上不超过3年）。
- 如果您确因生活困难无法一次性退回，可以向社保经办机构提出分期退款的申请，并按照协议约定的期限和金额进行退款。
社保经办机构处理：
- 如果您未按照社保经办机构的要求及时退回违规领取的社保待遇，社保经办机构将下达责令退回决定书。
- 若您仍拒不退回、拒不履行协议或没有待遇可以抵扣或不足以抵扣的，社保经办机构将依法申请人民法院强制执行。
- 若涉嫌欺诈骗取的，社保经办机构将移交人社行政部门处理，依法给予行政处罚；若涉嫌犯罪，将移送公安机关。
关于是否需要起诉：
- 在一般情况下，社保两地领取的问题不需要通过起诉来解决。社保经办机构会通过行政手段来追回违规领取的社保待遇，包括下达责令退回决定书、申请人民法院强制执行等。
- 只有在您对社保经办机构的决定有异议，且通过行政复议等途径无法解决时，才可能需要考虑通过法律途径（如起诉）来维护自己的合法权益。但这种情况相对较少见，且需要耗费较多的时间和精力。
建议：
- 建议您在收到社保经办机构的书面告知书后，积极配合社保经办机构的工作，按照要求及时退回违规领取的社保待遇。
- 如果您对违规事实或退款金额有异议，可以向社保经办机构提出申辩或申请行政复议。
- 在整个过程中，保持与社保经办机构的良好沟通，以便及时了解处理进度和结果。
希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时联系社保经办机构或咨询相关专业人士。