结论：在履行担保责任的过程中，若借款人（或保证人，视具体担保形式而定）存在违约行为，您作为债权人确实可以向其主张违约责任。但具体能否主张及主张的方式，需根据担保的具体形式（如保证、抵押、质押等）以及合同中的相关约定来确定。以下从不同担保形式的角度进行详细分析：
一、保证担保中的违约责任主张
一般保证：
- 在一般保证中，保证人享有先诉抗辩权，即您需先向借款人追偿，在借款人财产不足以清偿债务时，才能要求保证人承担保证责任。
- 若保证人在您依法行使先诉抗辩权后，仍拒绝承担保证责任，且该拒绝行为无合法依据（如未超过保证期间、不存在免责事由等），则您可主张其承担违约责任。
连带责任保证：
- 在连带责任保证中，若借款人不履行到期债务，您可直接请求保证人承担保证责任。
- 若保证人未履行代偿义务，您可要求其承担违约责任，包括继续履行、赔偿损失等。例如，保证人承诺代偿后拖延支付，导致您损失扩大，此时保证人需对扩大的损失部分承担违约责任。
特殊约定：
- 若您与保证人在合同中明确约定了保证人的其他义务（如提供反担保、配合您追索债务等），而保证人未履行这些义务，也可能构成违约并需承担相应责任。
二、抵押担保中的违约责任主张
抵押物处置：
- 在抵押担保中，若借款人未履行到期债务，您有权依法处置抵押物以优先受偿。
- 若借款人或抵押人阻碍您依法处置抵押物（如拒绝配合办理抵押物过户手续、故意损毁抵押物等），则构成违约，您可要求其承担违约责任，包括赔偿损失、继续履行等。
抵押物价值不足：
- 若抵押物的价值不足以清偿全部债务，且该不足是由于借款人或抵押人的过错导致（如抵押物价值被恶意贬损），则您可要求其承担相应的违约责任，如补充抵押物、赔偿损失等。
三、质押担保中的违约责任主张
质押物交付与保管：
- 在质押担保中，质押人需将质押物交付给您保管。若质押人未交付质押物或交付的质押物不符合合同约定，则构成违约，您可要求其承担违约责任。
- 若您因保管不善导致质押物毁损、灭失，则您需向质押人承担赔偿责任，但此情况不涉及您向借款人主张违约责任。
质押物价值变化：
- 若质押物的价值在质押期间发生显著变化，且该变化是由于借款人或质押人的过错导致（如质押物被恶意使用导致价值降低），则您可要求其承担相应的违约责任。
四、法律依据与实践操作
法律依据：
- 《中华人民共和国民法典》第五百七十七条规定：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。”该条款为您主张违约责任提供了基本法律依据。
实践操作建议：
- 审查合同条款：首先需仔细审查担保合同的具体条款，明确各方的义务及违约责任约定。
- 收集证据材料：包括证明借款人或担保人违约行为的证据（如拒绝履行义务的通知、未履行其他义务的书面材料、抵押物或质押物价值变化的证据等）。
- 协商或诉讼解决：可先尝试与借款人或担保人协商解决；若协商不成，可通过诉讼途径主张权利，要求其承担违约责任。
总结与建议：在履行担保责任的过程中，若借款人或担保人存在违约行为，您确实可以向其主张违约责任。但具体能否主张及主张的方式需根据担保的具体形式以及合同中的相关约定来确定。因此，建议您在签订担保合同时，务必明确各方的义务及违约责任约定，并在发生违约行为时及时收集证据材料，以便在必要时通过法律途径维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。