首先，如果你欠别人钱，而对方未经允许直接到你家拉走你的麦子，你是可以告他的。这种行为可能构成非法侵入住宅和侵犯你的财产权。下面我会详细解释这一点，并给出相应的法律建议。

1. 非法侵入住宅：

   • 根据法律规定，未经住宅内成员的允许，擅自进入他人住宅，或者经要求退出而拒不退出，都可能构成非法侵入住宅。在你的情况下，如果对方未经允许直接进入你家，你可以考虑收集相关证据（如证人证言、视听资料等），并向公安机关报案，追究其法律责任。

2. 侵犯财产权：

   • 即使你欠对方钱，对方也不能直接到你家拉走你的财物作为抵偿。这种行为侵犯了你的财产权。你可以通过法律途径来维护自己的权益，比如向法院起诉，要求对方返还被拉走的麦子，并赔偿因此造成的损失。

3. 债务纠纷的解决：

   • 对于你们之间的债务纠纷，建议通过合法途径来解决。你可以与对方协商，达成一个还款协议，或者通过法院起诉来明确债权债务关系。在诉讼过程中，你需要提供借款合同、转账记录等证明借款事实的证据。

综上所述，如果对方未经允许直接到你家拉走你的麦子，你可以考虑向公安机关报案追究其非法侵入住宅的法律责任，并通过法律途径来维护自己的财产权。同时，对于债务纠纷，建议通过合法途径来解决。如果你需要进一步的法律帮助或咨询，请随时告诉我。