结论：在发生交通事故后，即使没有撞到人而是撞到了建筑物，且您身上有轻伤，您确实可以直接去医院进行治疗。不过，在处理完伤情后，您还需要关注事故后续的法律责任和处理流程。

详细分析：

1. 伤情处理优先：

   • 在任何交通事故中，如果有人受伤，无论伤势轻重，都应首先确保伤者的安全与健康。因此，您可以直接前往医院接受必要的治疗和检查，这是您的首要任务。

2. 事故责任认定：

   • 撞到建筑物同样构成交通事故，您需要报警并等待交警到场处理。交警会根据现场情况、监控录像、证人证言等证据，来认定事故的责任方。
   • 如果事故责任在您，您可能需要承担建筑物的修复费用以及其他可能的损失赔偿。这通常需要通过保险公司的理赔流程来处理，或者如果您没有购买足够的保险，可能需要个人承担。

3. 保险理赔流程：

   • 在您接受治疗的同时，如果您的车辆购买了交通事故责任强制保险（交强险）和商业第三者责任险，您应及时联系保险公司，报告事故情况，并按照保险公司的要求提供相关证据和资料。
   • 保险公司会根据保险合同的约定，对事故造成的损失进行评估，并在责任范围内进行赔偿。这包括建筑物的修复费用、您的医疗费用（如果保险合同中有包含）等。

4. 法律责任与后果：

   • 如果事故责任在您，且您未能及时报警、处理事故或履行赔偿义务，您可能会面临法律责任，包括但不限于罚款、吊销驾驶证等行政处罚，以及可能的民事诉讼和赔偿。
   • 因此，在处理完伤情后，您应积极配合交警和保险公司的工作，确保事故得到妥善处理。

5. 建议与注意事项：

   • 在前往医院之前，如果条件允许，您可以拍摄一些事故现场的照片或视频，作为后续处理事故的证据。
   • 保留好所有与事故相关的医疗记录、费用单据等，以便在保险理赔或法律诉讼中使用。
   • 如果您对事故责任认定或保险理赔流程有疑问，可以寻求专业律师的帮助，以确保您的权益得到保障。

后续行动建议：

• 在接受治疗的同时，及时联系保险公司并报告事故情况。
• 配合交警的调查工作，提供必要的证据和资料。
• 保留好所有与事故相关的文件和记录，以备不时之需。
• 如有需要，可以向我咨询关于交通事故责任认定、保险理赔等方面的法律问题。

希望这些信息能对您有所帮助。如果您在处理事故过程中遇到任何法律问题或困惑，请随时向我咨询。