在当事人对没收非法财物的处罚要求听证的情况下，听证通常由作出该处罚决定的行政机关来组织。以下是对这一问题的详细解释：
法律依据与听证组织原则
根据《中华人民共和国行政处罚法》的相关规定，行政机关在作出责令停产停业、吊销许可证或者执照、较大数额罚款等行政处罚决定之前，应当告知当事人有要求举行听证的权利；当事人要求听证的，行政机关应当组织听证。虽然该法条并未直接提及“没收非法财物”的听证组织，但听证制度的核心在于保障当事人的陈述权和申辩权，确保行政处罚的公正性和合理性。因此，在没收非法财物这一行政处罚中，若当事人提出听证要求，同样应遵循这一原则，由作出处罚决定的行政机关来组织听证。
听证的具体流程
告知听证权利：行政机关在作出没收非法财物的处罚决定前，应当告知当事人有要求举行听证的权利，并告知听证的时间、地点等相关信息。
当事人提出听证要求：如果当事人认为没收非法财物的处罚决定可能侵犯其合法权益，可以在被告知听证权利后的一定期限内（通常为三日内）向行政机关提出听证要求。
行政机关组织听证：行政机关在收到当事人的听证要求后，应当按照法定程序组织听证。听证过程中，当事人有权陈述、申辩，并可以提供证据支持自己的观点。行政机关则应当认真听取当事人的陈述和申辩，对当事人提出的证据进行质证和认证。
听证结束与决定作出：听证结束后，行政机关应当根据听证笔录和相关证据，依法作出是否没收非法财物的决定。如果决定没收，应当制作书面决定书并送达当事人；如果决定不予没收，则应当告知当事人并说明理由。
特殊情况下的听证组织
在某些特殊情况下，如涉及多个行政机关共同作出没收非法财物的决定，或者案件情况复杂、影响重大等，听证的组织可能会更加复杂。但无论如何，听证的核心原则都是保障当事人的陈述权和申辩权，确保行政处罚的公正性和合理性。因此，在这些特殊情况下，听证的组织仍然应当遵循这一原则，并可能涉及多个行政机关的协调与配合。
法律建议
及时提出听证要求：如果您作为当事人对没收非法财物的处罚决定有异议，并希望保障自己的合法权益，建议在被告知听证权利后及时提出听证要求。
准备充分证据：在听证过程中，您有权提供证据支持自己的观点。因此，建议您提前准备充分的证据材料，以便在听证中更好地陈述和申辩。
咨询专业律师：如果您对听证流程或相关法律问题存在疑问，建议咨询专业律师以获取更详细的法律指导和帮助。
希望以上解答能够对您有所帮助。如果您还有其他法律问题或需要进一步的法律咨询，请随时向我提问。