结论：非法种植小麦被清除，行政机关是否赔偿损失需分情况讨论，一般情况下行政机关无需赔偿，但特定情形下可能需承担部分或全部赔偿责任。以下为详细分析：
一、行政机关通常无需赔偿的情形
法律依据与行政行为合法性：
- 根据《中华人民共和国土地管理法》及相关法规，非法占用土地或改变土地用途进行种植等行为是违法的。行政机关有权依法对非法种植行为进行查处，包括清除作物、恢复土地原状等。
- 若行政机关在清除非法种植小麦时，严格依照法定程序进行，且其行为符合相关法律法规的规定，那么该行政行为是合法的。在此情况下，行政机关无需对因清除行为造成的损失承担赔偿责任。
非法种植者的过错：
- 非法种植小麦的行为本身违反了法律法规，种植者应当预见并承担由此可能产生的法律后果。因此，在行政机关依法清除非法种植作物时，种植者无权要求行政机关赔偿其损失。
二、行政机关可能需赔偿的情形
行政行为违法或不当：
- 如果行政机关在清除非法种植小麦的过程中，存在程序违法、超越职权、滥用职权或采取措施不当等情形，导致种植者的合法权益受到损害，那么行政机关应当承担相应的赔偿责任。
- 例如，行政机关在未依法履行告知义务、未给予种植者合理的陈述申辩机会或未按照法定程序进行清除的情况下，直接清除了小麦，且该清除行为并非必要或合理，那么种植者有权要求行政机关赔偿其因此遭受的损失。
损害赔偿的构成要件：
- 要构成行政赔偿，通常需要满足以下条件：一是行政行为违法；二是存在损害事实；三是损害事实与违法行政行为之间存在因果关系。
- 在非法种植小麦被清除的案例中，如果种植者能够证明行政机关的清除行为违法，且该行为直接导致了其经济损失（如小麦的价值、种植成本等），那么种植者有权要求行政机关进行赔偿。
三、建议与注意事项
种植者应遵守法律法规：
- 种植者在进行种植活动时，应严格遵守相关法律法规的规定，确保种植行为的合法性。避免非法占用土地或改变土地用途进行种植，以减少因违法种植而可能面临的法律风险和经济损失。
行政机关应依法行政：
- 行政机关在查处非法种植行为时，应严格依照法定程序进行，确保行政行为的合法性和合理性。避免因程序违法或措施不当而引发不必要的法律纠纷和赔偿责任。
争议解决途径：
- 如果种植者认为行政机关的清除行为违法或不当，并因此遭受了经济损失，可以通过行政复议或行政诉讼等途径来维护自己的合法权益。在此过程中，建议种植者咨询专业律师的意见，以便更好地了解自己的权利和义务，并制定合理的维权策略。
如有更多关于征地拆迁、侵权损害等法律问题，欢迎直接向我咨询。