结论：是否可以要求家政公司退钱，需根据具体情况判断，包括双方签订的合同内容、家政公司是否履行了合同义务、工作不理想的具体原因等。以下从不同角度进行分析：
一、合同角度
合同内容：
- 如果您与家政公司签订了书面合同，且合同中明确规定了家政公司应提供的工作内容、工作期限、工资待遇等条款，那么家政公司应按照合同约定履行义务。
- 若家政公司未按照合同约定提供工作，或者提供的工作与合同约定不符，您有权要求家政公司承担违约责任，包括退还已支付的费用。
合同履行情况：
- 如果家政公司仅安排了三天日结工，且这三天的工作符合合同约定，但后续未按照合同约定安排工作，或者安排的工作与合同约定相差甚远，您可以要求家政公司退还剩余未履行部分的费用。
- 如果家政公司虽然安排了工作，但工作条件、工作环境等与合同约定不符，且这种不符影响了您的工作权益，您也有权要求家政公司进行整改或退还相应费用。
二、法律角度
消费者权益保护：
- 根据《中华人民共和国消费者权益保护法》的相关规定，消费者在购买商品或接受服务时，享有公平交易的权利。如果家政公司提供的服务不符合约定，或者存在欺诈行为，您有权要求家政公司承担相应的法律责任，包括退还费用。
劳动合同关系（如适用）：
- 如果您与家政公司之间形成了劳动合同关系，那么家政公司应按照《中华人民共和国劳动合同法》的规定，为您提供符合约定的工作条件和劳动报酬。
- 若家政公司违反劳动合同约定，您有权要求家政公司承担违约责任，包括支付违约金、赔偿损失等。但在此情况下，由于您提到的是“日结工”，可能更倾向于是一种劳务关系而非劳动合同关系，具体需根据实际情况判断。
三、实际操作建议
与家政公司协商：
- 首先，您可以尝试与家政公司进行协商，说明您的情况和诉求，看是否能够达成一致意见，如退还部分费用或重新安排工作等。
收集证据：
- 如果协商无果，您需要收集相关证据，如合同、工作记录、沟通记录等，以证明家政公司未按照约定履行义务。
寻求法律援助：
- 如果证据充分，您可以向当地劳动监察部门投诉或向法院提起诉讼，要求家政公司承担相应的法律责任。
后续行动建议：在处理此类问题时，建议您保持冷静和理性，通过合法途径维护自己的权益。如果您对具体操作流程或法律条款有疑问，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。