结论：在买房人剩余尾款很少的情况下，您不能直接起诉要回房子，但可以通过法律途径追讨尾款或解除合同并要求赔偿，具体取决于合同条款和实际情况。
分析说明：
合同条款的约束：
- 房屋买卖合同是双方自愿达成的协议，具有法律约束力。合同中通常会明确约定付款方式、付款期限以及违约责任等条款。
- 如果买房人未按照合同约定的期限支付尾款，这构成了违约行为。但违约并不直接导致您有权要回房子，而是需要根据合同条款和法律规定来处理。
追讨尾款的法律途径：
- 您可以通过发送律师函或直接向法院提起诉讼的方式，要求买房人支付剩余的尾款。
- 在诉讼过程中，您需要提供充分的证据证明买房人确实存在违约行为，并且您已经履行了合同中的主要义务（如交付房屋等）。
- 如果法院判决买房人支付尾款，而买房人拒不履行，您还可以申请强制执行。
解除合同并要求赔偿的情况：
- 如果合同中明确约定了买房人逾期支付尾款达到一定期限时，您有权解除合同，并且可以要求买房人承担违约责任（如支付违约金、赔偿损失等）。
- 在这种情况下，您需要先向买房人发出解除合同的通知，并告知其解除合同的理由和依据。
- 如果买房人不同意解除合同或拒绝承担违约责任，您可以通过法律途径解决争议，包括提起诉讼或申请仲裁等。
特殊场景：
- 如果买房人确实存在严重的经济困难，无法支付剩余的尾款，并且您也愿意给予一定的宽限期或协商解决方案，那么双方可以尝试通过协商的方式达成一致意见，如延期付款、分期付款等。
- 如果买房人存在恶意拖欠或逃避债务的行为，您需要及时采取法律措施来保护自己的合法权益，避免损失进一步扩大。
行动建议：
- 审查合同条款：首先仔细审查房屋买卖合同中的相关条款，了解双方的权利和义务以及违约责任等约定。
- 与买房人沟通：尝试与买房人进行沟通，了解其未支付尾款的原因和意愿，并寻求协商解决方案。
- 寻求法律帮助：如果沟通无果或买房人拒绝履行合同义务，您可以咨询专业律师（即我，索建国律师，专注于刑事辩护、房产纠纷领域）的意见，并根据律师的建议采取相应的法律措施来保护自己的合法权益。
后续思考依据：
- 在处理此类纠纷时，合同条款是关键依据。因此，在签订房屋买卖合同时，双方应尽可能明确约定各项条款，以避免后续产生争议。
- 如果发生纠纷，及时寻求法律帮助是非常重要的。专业律师可以根据您的具体情况提供有针对性的法律建议和解决方案。