个人成立股份合作社违规时，主要由县级以上各级农业行政主管部门来管理。以下是对此问题的详细分析：
一. 违规管理的法律依据
《中华人民共和国农民专业合作社法》的相关规定：
- 农民专业合作社作为一种特殊的经济组织，其设立、运营及违规行为的管理均有明确的法律规定。
- 虽然该法主要规定了合作社的设立条件、组织机构、财务管理等方面的内容，但对于违规行为的管理并未直接指出具体的管理机关。
其他相关法律法规的补充：
- 根据公开发布的信息，目前管理农村信用社的机构包括省级人民政府、银监会、中国人民银行、信用社省级管理机构等。这表明，对于合作社这类经济组织，其管理往往涉及多个政府部门。
- 鉴于农业行政主管部门对农民专业合作社的发展情况掌握最为全面，因此，在合作社违规时，主要由县级以上各级农业行政主管部门来承担监管职责。
二. 违规管理的具体措施
警告：
- 对于合作社轻微的违规行为，监管部门可以给予警告，以提醒其纠正违法行为。
- 例如，意大利《民法典》和芬兰《合作社法》中均有关于警告处罚的规定。
改正违法行为：
- 合作社被要求停止违法行为，并积极主动地协助行政处罚机关调查取证，消除违法行为所造成的不良后果。
- 若造成损害，合作社还需依法承担民事责任，并予以赔偿。
罚款：
- 对于较重的行政违法行为，或者以牟取非法利益为目的的行政违法行为，监管部门可以处以罚款。
- 罚款作为一种经济制裁手段，旨在剥夺违法者一定的财产权利。
解散合作社：
- 在合作社严重违法或没有存在的必要时，监管部门可以责令其解散。
- 解散合作社的理由通常包括合作社持续一定期限没有开展业务、社员人数少于法定最低人数等。
三. 实际案例的启示
- 从江西省于都县纪委监委查处的一起村级股份经济合作社领域的典型案例中可以看出，合作社在运营过程中若存在违规行为（如占用集体资金、挪用集体资金等），将受到相关部门的严厉查处。
- 这不仅体现了政府部门对合作社违规行为的严格监管态度，也警示了合作社在运营过程中必须严格遵守法律法规。
综上所述，个人成立股份合作社违规时，主要由县级以上各级农业行政主管部门来管理。这些部门将依据相关法律法规对合作社的违规行为采取警告、改正违法行为、罚款乃至解散合作社等措施。同时，合作社在运营过程中也应自觉遵守法律法规，以维护自身的合法权益和声誉。如有进一步需要，您可以继续咨询我。