在哺乳期回去上班时，公司通常不能随意对你进行降薪降职。这一点受到了相关法律的严格保护。

首先，根据《中华人民共和国妇女权益保障法》第二十七条、《女职工劳动保护特别规定》以及《中华人民共和国劳动法》的相关规定，明确禁止了用人单位因女职工怀孕、生育、哺乳等情形而降低其工资或解除劳动合同。这些法律条文为女职工在哺乳期的权益提供了坚实的法律保障。

当然，也存在一些特定且合理的情况下，公司可以进行调岗，但这必须满足一定的条件。例如，如果公司与你进行了充分的协商，并且你出于自愿同意了调岗安排，那么这种调岗是合法的。另外，如果因身体或其他客观原因你无法胜任原工作，公司也可以基于对你的特殊保护进行合理调岗。但这种调岗应是出于对你身体健康的考虑，且调整后的工作岗位不应具有歧视性或惩罚性，同时应确保工资待遇不降低。

如果公司违反法律规定，在你哺乳期间擅自进行降薪降职，你可以采取一系列措施来维护自己的合法权益。首先，你可以尝试与公司进行协商，表达你的立场和诉求，寻求和解。如果协商无果，你可以向劳动争议仲裁委员会申请仲裁，要求公司支付工资差额并恢复原工作岗位。在必要情况下，你还可以通过法律途径解决争议，包括向法院提起诉讼。

在维权过程中，建议你注意收集公司要求调岗降薪的相关证据，如书面通知、邮件记录等。同时，也要坚持自己的立场，不要轻易妥协。如果遇到复杂情况或法律问题，建议及时咨询专业律师以获取专业意见和支持。

总的来说，哺乳期是女性职工的特殊保护时期，公司应该尊重你的权益，不能擅自进行降薪降职等对你不利的行为。如果你遇到了这样的问题，可以依法维护自己的权益。