结论：是否只向中介辞职合法，需根据您与中介、用人单位之间的具体法律关系及合同约定来判断。以下分情况详细说明：
一、若您与中介构成劳动关系，同时被派遣至用人单位工作（即劳务派遣关系）
辞职对象：
- 根据《劳动合同法》的规定，您作为被派遣劳动者，有权依照劳动合同法的规定与劳务派遣单位（中介）解除劳动合同。因此，您可以直接向中介提出辞职。
- 同时，您应告知用人单位您的辞职决定，以便用人单位安排工作交接等事宜，但这并非法律上的辞职对象，主要义务是向中介提出。
辞职程序与后果：
- 您应按照劳动合同法的规定，提前三十日以书面形式通知中介（在试用期内则提前三日）。
- 若您未提前通知而擅自离职，可能需承担中介因此遭受的损失赔偿责任，但中介需对此损失进行举证。
二、若您与中介构成委托关系，中介仅为您介绍工作，您与用人单位直接建立劳动关系
辞职对象：
- 在此情况下，您与中介之间不存在劳动关系，辞职应直接向用人单位提出。
- 中介仅作为介绍人，不承担您辞职后的相关责任。
辞职程序与后果：
- 您应按照与用人单位之间的劳动合同或相关法律规定，提前通知用人单位并办理离职手续。
- 若您未按照规定程序辞职，可能需承担用人单位因此遭受的损失赔偿责任。
三、若您与中介、用人单位之间的法律关系不明确或存在争议
建议措施：
- 审查合同：首先审查您与中介、用人单位之间签订的合同或协议，明确各方的权利义务关系。
- 咨询专业意见：若合同内容不明确或存在争议，建议咨询专业律师或劳动仲裁机构，以明确您的法律地位和辞职程序。
- 协商解决：在明确法律关系后，尝试与中介、用人单位协商解决辞职事宜，以避免不必要的法律纠纷。
注意事项：
- 在辞职过程中，务必保留好相关证据，如辞职通知、工作交接记录等，以备不时之需。
- 若发生劳动纠纷，可依法向劳动仲裁机构申请仲裁或向人民法院提起诉讼。
进一步思考：在实际操作中，劳动关系的认定往往较为复杂，可能涉及合同条款的解读、实际工作情况的考察等多方面因素。因此，在辞职前，建议您先明确自己与中介、用人单位之间的法律关系，再按照相应的法律程序进行操作。若您对此存在疑问或需要进一步的法律帮助，请随时向我咨询。