对于产品免予登记的肥料，若存在违法行为，一般由农业农村主管部门来进行处罚。以下是对此问题的详细分析：
法律依据与处罚主体
根据《肥料登记管理办法》的相关规定，肥料的生产、经营和使用应当遵守该办法。对于免予登记的肥料产品，虽然不需要进行肥料登记，但仍然需要遵守肥料管理的其他相关规定。若这些免予登记的肥料产品存在违法行为，如生产、销售不符合国家标准的肥料，或者假冒、伪造肥料登记证号等，农业农村主管部门将依法进行处罚。
处罚的具体情形与措施
生产、销售不符合国家标准的肥料：
- 如果免予登记的肥料产品不符合国家质量标准，农业农村主管部门可以责令停止生产、销售，没收违法所得，并处违法所得1倍以上3倍以下的罚款；没有违法所得的，可以处3万元以下的罚款。
假冒、伪造肥料登记证号：
- 对于假冒、伪造肥料登记证号或者肥料登记证号的，农业农村主管部门将没收违法所得，并处违法所得1倍以上3倍以下的罚款；没有违法所得的，可以处1万元以下的罚款。
其他违法行为：
- 如果免予登记的肥料产品存在其他违法行为，如未按照规定进行包装、标识等，农业农村主管部门也将根据具体情况依法进行处罚。
实际操作中的注意事项
- 证据收集：在处罚过程中，农业农村主管部门需要收集充分的证据来证明肥料产品的违法行为，如质量检测报告、销售记录等。
- 程序合法：处罚过程必须遵循法定程序，确保当事人的合法权益得到保障。这包括告知当事人处罚的事实、理由和依据，听取当事人的陈述和申辩等。
- 跨部门协作：在某些情况下，农业农村主管部门可能需要与其他部门（如市场监管部门、公安部门等）进行协作，共同打击肥料产品的违法行为。
建议与提醒
- 合规经营：对于肥料生产者和销售者来说，应当严格遵守国家关于肥料管理的相关规定，确保产品的质量和安全。
- 及时咨询：如果对肥料登记、管理等方面的规定存在疑问或不确定的地方，建议及时咨询专业的法律人士或农业农村主管部门，以避免因不了解规定而引发的法律风险。
如果您在肥料产品的生产、经营或使用过程中遇到任何法律问题或疑虑，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。