海关缉私确实会按照非法所得进行处罚，但具体处罚方式及标准需依据走私行为的性质、情节以及走私物品的种类、数量和价值等多重因素来综合判定。以下从不同角度为您详细分析：
一、一般走私行为的处罚
根据《中华人民共和国海关法》第八十二条，走私行为包括但不限于运输、携带、邮寄国家禁止或限制进出境的货物、物品，或依法应缴税款的货物、物品进出境；未经海关许可且未缴纳税款，擅自销售保税货物等海关监管货物；以及其他逃避海关监管的行为。对于此类尚不构成犯罪的走私行为，海关将采取以下处罚措施：
没收走私货物、物品及违法所得：海关将依法没收走私的货物、物品以及通过走私行为获得的违法所得。
罚款：罚款幅度通常为走私货物、物品偷逃应缴税额的30%至3倍。这意味着，如果走私货物、物品偷逃的应缴税额较高，那么罚款的金额也会相应增加。
没收专门用于走私的货物、物品和运输工具：对于专门或多次用于掩护走私的货物、物品，以及专门或多次用于走私的运输工具，海关将予以没收。
责令拆毁或没收藏匿走私货物的特制设备：对于藏匿走私货物的特制设备，海关将责令拆毁或没收。
二、走私特定物品的处罚
对于走私武器、弹药、核材料、伪造货币、国家禁止出口的文物、黄金等贵重金属或珍贵动物及其制品等特定物品的行为，根据《中华人民共和国刑法》的相关规定，将追究刑事责任，并处以相应的刑罚和罚金。虽然这些处罚主要涉及刑事责任，但在某些情况下，也可能伴随行政处罚，如没收违法所得等。不过，在您的问题背景下，我们主要关注行政处罚方面，即海关缉私部门对非法所得的处罚，对于此类严重走私行为，其非法所得通常会在刑事诉讼过程中被依法追缴。
三、违反海关监管规定行为的处罚
除了走私行为外，如果进出口货物在品名、税则号列、数量等方面未如实申报或申报不实，也可能面临海关的行政处罚。根据《中华人民共和国海关行政处罚实施条例》第十五条，这类行为可能面临以下处罚：
警告或罚款：根据影响海关统计准确性、监管秩序、国家许可证件管理、税款征收或外汇、出口退税管理的不同程度，海关将给予警告或处以不同金额的罚款。
没收违法所得：如果这类行为产生了违法所得，海关将依法没收。
四、实际案例与法律建议
在实际操作中，海关缉私部门会根据走私行为的具体情况，综合运用上述处罚措施。例如，对于一起走私普通货物的案件，海关可能会没收走私货物、物品及违法所得，并处以偷逃应缴税额一定比例的罚款。
如果您或您身边的人涉及海关缉私问题，我建议您：
积极配合海关调查：如实提供相关信息和证据，以便海关准确认定走私行为的性质和情节。
寻求专业法律帮助：海关缉私问题涉及复杂的法律条款和程序，寻求专业律师的帮助可以更好地维护您的合法权益。作为专业律师，我擅长处理刑事辩护、合同纠纷、婚姻家庭、遗产继承、侵权纠纷、公司事务、民间借贷、行政诉讼等多个领域的问题，您可以直接向我咨询。
了解并遵守海关法律法规：增强法律意识，避免涉及走私等违法行为，维护国家的对外贸易秩序和经济安全。