可以起诉，但需根据违建部分的具体情况及对合同目的的影响来综合判断诉讼方向和请求。以下从不同角度为您详细分析：
一、从合同效力角度分析
若违建部分不影响整体房屋买卖合同的效力：
- 房屋买卖合同中，主要标的物是具有房产证的合法部分。如果违建部分相对独立，且拆除或整改后不影响合法部分的使用和价值，那么合同整体可能仍然有效。
- 在此情况下，您作为买方，如果因为违建问题受到损失（如因违建被处罚、需要自行拆除违建部分等），可以起诉卖方，要求其承担违约责任，包括赔偿损失、支付违约金等。
若违建部分导致合同目的无法实现：
- 如果违建部分是房屋的重要组成部分，或者违建问题严重到导致房屋无法正常使用、无法办理相关手续（如过户、贷款等），那么合同目的可能无法实现。
- 在此情况下，您作为买方，可以起诉卖方，要求解除合同，并要求卖方返还购房款、赔偿损失等。
二、从违建部分的性质和处理方式角度分析
违建部分可整改：
- 如果违建部分可以通过整改达到合法标准，且卖方同意或法院判决要求卖方进行整改，那么您可以要求卖方在规定时间内完成整改。
- 如果卖方未按时整改或整改后仍不符合要求，您可以进一步起诉卖方，要求其承担因此产生的额外费用和损失。
违建部分需拆除：
- 如果违建部分无法整改或整改成本过高，且需要拆除，那么您可以要求卖方承担拆除费用，并赔偿因此产生的其他损失（如房屋价值下降、使用不便等）。
- 如果卖方拒绝承担相关费用，您可以起诉卖方，要求其履行赔偿义务。
三、法律建议和操作步骤
收集证据：
- 收集与房屋买卖相关的所有证据，包括合同、付款凭证、房产证、违建部分的照片或视频、相关部门的处罚决定或整改通知等。
与卖方协商：
- 在起诉前，可以尝试与卖方进行协商，看是否能够达成和解协议，解决违建问题。
起诉卖方：
- 如果协商无果，您可以向法院提起诉讼，要求卖方承担相应的法律责任。在起诉时，需要明确诉讼请求、事实和理由，并提交相关证据。
参与诉讼过程：
- 在诉讼过程中，需要积极参与庭审，回答法官和对方当事人的提问，提交证据材料，并阐述自己的观点和请求。
执行判决：
- 如果法院判决支持您的诉讼请求，但卖方未履行判决义务，您可以向法院申请强制执行，要求卖方履行判决。