结论：您母亲能否起诉要回房子，取决于过户的性质以及是否存在可撤销的情形。以下从不同角度进行分析：
一、如果过户性质为赠与
赠与合同的成立与生效：
- 若您母亲将房子过户给小儿子时，明确表示为赠与，并且双方签订了赠与合同（即使未签订书面合同，但过户行为本身可能被视为赠与的履行），则赠与合同在过户完成时即生效。
赠与的撤销：
- 根据《民法典》的相关规定，赠与合同一旦成立并生效，除非存在法定撤销情形，否则赠与人不得随意撤销赠与。
- 法定撤销情形包括：受赠人严重侵害赠与人或者赠与人近亲属的合法权益；受赠人对赠与人有扶养义务而不履行；受赠人不履行赠与合同约定的义务等。
- 若不存在上述法定撤销情形，您母亲难以直接起诉要回房子。但若在赠与财产的权利转移之前（即过户之前），赠与人可以撤销赠与。然而，本案中房子已经过户，此点不适用。
特殊情形下的撤销：
- 如果赠与合同附有条件或期限，且受赠人未履行条件或期限未到，赠与人可能有权撤销赠与。但本案中未提及此类情形。
- 若您母亲能证明在赠与时受到欺诈、胁迫等，导致意思表示不真实，也可能有权撤销赠与。但这需要充分的证据支持。
二、如果过户性质为买卖但未支付购房款
买卖合同的成立与生效：
- 若过户时名义上为买卖，但实际上小儿子未支付购房款，且您母亲与小儿子之间未就购房款支付达成新的协议或补充协议，则买卖合同可能因未履行主要义务（支付购房款）而存在争议。
合同的解除与撤销：
- 您母亲可以基于小儿子未支付购房款的事实，主张解除买卖合同，并要求返还房子。但这需要您母亲能够证明买卖合同的存在以及小儿子未支付购房款的事实。
- 若存在欺诈、胁迫等情形导致合同订立，您母亲也有权请求撤销合同并返还房子。
实际操作中的难点：
- 在实际操作中，若过户时未明确约定购房款支付方式、时间等，且双方未留下书面证据，您母亲可能面临举证困难的问题。
- 此外，即使能够证明买卖合同的存在以及小儿子未支付购房款的事实，若小儿子主张双方之间为赠与关系或其他关系，也可能导致案件复杂化。
三、建议与后续行动
收集证据：
- 您母亲应尽快收集与过户相关的所有证据，包括过户文件、赠与或买卖合同的草案（如有）、双方之间的沟通记录等。
咨询专业律师：
- 由于房产纠纷涉及的法律问题较为复杂，且每个案件的具体情况都不同，因此建议您母亲咨询专业律师以获取更具体的法律建议。
考虑和解或调解：
- 在诉讼之前，您可以考虑与小儿子进行和解或调解，以达成双方都能接受的解决方案。这可以节省时间和成本，并避免家庭关系的进一步恶化。
提起诉讼：
- 若和解或调解无果，且您母亲认为有充分的证据支持其主张，则可以考虑向法院提起诉讼以维护自己的合法权益。
最后，由于每个案件的具体情况都不同，且法律问题具有复杂性，因此以上分析仅供参考。若您母亲确实面临此类问题，建议直接向我咨询以获取更具体的法律建议。