违法所得的认定部门主要根据案件性质和法律规定来确定，一般包括行政执法机关和司法机关。以下是对此问题的详细分析：

一、行政执法机关的认定权

在行政案件中，如市场监管、税务、海关等行政执法机关在查处违法行为时，有权对违法所得进行认定。这些机关会依据相关法律法规，如《行政处罚法》、《工商行政管理机关行政处罚案件违法所得认定办法》等，结合案件事实，对违法所得进行计算和确认。例如，在市场监管领域，对于违法销售商品的行为，违法所得通常等于销售收入减去购进价款。

二、司法机关的认定权

在刑事案件中，公安机关、检察机关和人民法院均有权对违法所得进行认定。

1. 公安机关：在侦查阶段，公安机关会对涉案财物进行调查和扣押，这包括对违法所得的初步认定。
2. 检察机关：在审查起诉阶段，检察机关会对违法所得进行进一步的审查和确认，确保违法所得的认定符合法律规定。
3. 人民法院：在审理阶段，人民法院会根据查明的事实和法律规定，对违法所得进行最终认定，并作出相应的判决。

三、认定过程中的注意事项

1. 特别法优先：在认定违法所得时，应优先适用特别法的规定。例如，在食品安全领域，违法所得的计算可能遵循《食品安全法》的特别规定。
2. 程序合法：违法所得的认定过程必须严格遵守法定程序，确保认定结果的合法性和有效性。
3. 证据充分：认定违法所得需要充分的证据支持，包括交易记录、财务凭证等，以确保认定结果的准确性和可靠性。

四、特殊情形下的认定规则

1. 共同违法：在共同违法案件中，违法所得的认定需要按照各自参与程度、分赃比例等证据进行判定。无法区分时，需结合个案证据综合裁量。
2. 多次违法：对于多次违法的行为，违法所得需要累计计算。但需注意追溯时效的规定，确保认定结果的合法性和合理性。
3. 违法所得无法计算时：若违法所得难以计算（如无交易记录），部分领域可能按“无违法所得”进行处罚（罚款更高）。但需注意，总局征求意见稿拟调整为“不予没收，在罚款额度中综合考虑”。

建议：在实际操作中，如果涉及违法所得的认定问题，建议及时咨询专业律师或相关执法机关，以确保自身权益得到妥善保护。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我提问。