结论：交了咨询服务费，对方按规定服务了，但服务对象违约的情况下，咨询服务费是否退还，需根据合同具体条款、违约情形及双方协商情况来确定，无法一概而论。以下从不同角度进行分析：
一、合同条款的约定
合同中有明确约定：
- 如果咨询服务合同中明确规定了，在服务对象违约的情况下，咨询服务费的退还方式或条件，那么应当按照合同约定来执行。例如，合同可能规定，若服务对象违约，咨询服务费不予退还，或者退还部分费用等。
合同中无明确约定：
- 如果合同中没有明确约定服务对象违约时咨询服务费的退还问题，那么需要根据《中华人民共和国民法典》的相关规定，以及双方协商的结果来确定。
二、违约情形的分析
服务对象轻微违约：
- 如果服务对象的违约行为轻微，且未对咨询服务造成实质性影响，那么咨询服务方可能无权要求退还全部或部分咨询服务费。因为咨询服务方已经按照合同约定提供了服务，且服务对象的违约行为并未导致合同目的无法实现。
服务对象严重违约：
- 如果服务对象的违约行为严重，导致咨询服务无法继续进行或合同目的无法实现，那么咨询服务方可能有权要求退还部分或全部咨询服务费。但具体退还金额和方式，仍需根据合同约定和双方协商来确定。例如，如果服务对象因自身原因单方面解除合同，且咨询服务方已经投入了大量人力和物力，那么咨询服务方可能要求服务对象支付一定的违约金或赔偿损失，而不是直接退还咨询服务费。
三、双方协商的结果
- 在合同没有明确约定且违约情形复杂的情况下，双方可以通过协商来解决咨询服务费的退还问题。协商时，可以考虑咨询服务方的实际投入、服务对象的违约程度、合同目的的实现情况等因素，以达成一个公平合理的解决方案。
四、法律建议
审查合同条款：
- 在签订咨询服务合同时，务必仔细审查合同条款，特别是关于违约责任和咨询服务费退还的约定。确保合同条款明确、具体，以避免后续纠纷。
保留相关证据：
- 在提供咨询服务过程中，务必保留好相关证据，如服务记录、沟通记录、付款凭证等。这些证据在后续纠纷解决中可能起到关键作用。
及时沟通协商：
- 一旦发现服务对象违约或可能违约的情况，应及时与服务对象沟通协商，寻求解决方案。避免问题恶化导致更大的损失。
寻求法律帮助：
- 如果双方无法协商解决纠纷，可以寻求法律帮助。作为专业律师，我可以根据具体情况提供法律意见和解决方案，帮助你维护合法权益。
举例说明：假设你与一家咨询服务公司签订了一份合同，约定由该公司为你提供市场调研服务，并支付了相应的咨询服务费。后来，由于你自身原因单方面解除了合同，且咨询服务公司已经投入了一定的人力进行市场调研。在这种情况下，咨询服务公司可能要求你支付一定的违约金或赔偿损失，而不是直接退还咨询服务费。但具体金额和方式，仍需根据合同约定和双方协商来确定。
后续思考依据：在处理类似纠纷时，除了考虑合同条款和违约情形外，还需要关注双方的实际损失和利益平衡。通过协商或法律途径解决纠纷时，应充分考虑各种因素，以达成一个公平合理的解决方案。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。