关于离职时能否要回之前降薪的钱，这主要取决于降薪的原因、程序以及相关法律法规的规定，以下从不同角度进行分析：
如果降薪是违法的：
- 根据《劳动法》和《劳动合同法》的相关规定，用人单位不得随意降低劳动者的工资。如果降薪行为违反了劳动合同的约定或法律法规的规定，比如没有经过劳动者同意、没有合理的降薪理由等，那么劳动者在离职时有权要求用人单位补发被降薪的部分。
- 在这种情况下，劳动者可以先与用人单位进行协商，要求补发工资。如果协商不成，可以向劳动争议仲裁委员会申请仲裁，或者向人民法院提起诉讼，以维护自己的合法权益。
如果降薪是合法的，但存在程序瑕疵：
- 有时候，用人单位可能因为经营困难、岗位调整等原因需要降薪，但降薪程序可能没有完全符合法律法规的要求，比如没有提前通知劳动者、没有与劳动者协商一致等。在这种情况下，虽然降薪本身可能有一定的合理性，但程序上的瑕疵也可能导致降薪行为被认定为违法。
- 劳动者在离职时，如果认为降薪程序存在瑕疵，可以要求用人单位补发工资或给予其他补偿。当然，这需要根据具体情况来判断，比如降薪的原因是否合理、程序瑕疵的严重程度等。
如果降薪是合法的，且程序也合规：
- 如果用人单位因为合理的经营需要或岗位调整等原因需要降薪，并且已经按照法律法规的要求与劳动者进行了协商、通知等程序，那么降薪行为就是合法的。在这种情况下，劳动者在离职时通常无法要求用人单位补发被降薪的部分。
- 但是，如果劳动者认为降薪后的工资低于了当地最低工资标准或者违反了劳动合同中的其他约定，那么仍然可以要求用人单位进行调整或给予补偿。
针对你的情况，我建议：
- 首先，回顾一下你的劳动合同和用人单位的相关规章制度，看看降薪行为是否符合其中的约定或规定。
- 其次，与用人单位进行沟通，了解降薪的原因和程序，看看是否存在违法或程序瑕疵的情况。
- 如果沟通无果，或者你认为降薪行为确实违法或存在程序瑕疵，那么可以向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。
总之，离职时能否要回之前降薪的钱需要根据具体情况来判断。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。