产权人可以直接起诉代理人，但需根据具体情况确定起诉的法律依据和事实理由。以下从不同角度进行分析：
一、从代理关系角度分析
无权代理或超越代理权：
- 若代理人未经产权人授权或超越授权范围拆除房屋，构成无权代理或超越代理权。根据《中华人民共和国民法典》的相关规定，无权代理或超越代理权的行为，未经被代理人（产权人）追认的，对被代理人不发生效力。此时，产权人可以直接起诉代理人，要求其承担侵权责任或违约责任（如果存在相关合同）。
有权代理但滥用代理权：
- 若代理人虽有权代理，但滥用代理权（如与第三人恶意串通损害产权人利益），产权人同样可以直接起诉代理人。在此情况下，代理人可能需承担赔偿责任，甚至面临更严重的法律后果。
二、从侵权责任角度分析
- 拆除房屋行为构成侵权：
- 无论代理人是否有权代理，如果其拆除房屋的行为侵犯了产权人的合法权益（如房屋所有权、使用权等），产权人均可以直接起诉代理人，要求其承担侵权责任。根据《中华人民共和国民法典》中关于侵权责任的规定，侵权人需承担停止侵害、排除妨碍、消除危险、返还财产、恢复原状、赔偿损失等民事责任。
三、从合同关系角度分析（如存在相关合同）
合同有效但代理人违约：
- 如果产权人与代理人之间存在关于房屋拆除的合同，且代理人未按合同约定履行义务（如擅自拆除房屋、未按约定时间完成拆除等），产权人可以直接起诉代理人，要求其承担违约责任。根据《中华人民共和国民法典》中关于合同违约的规定，违约方需承担继续履行、采取补救措施或赔偿损失等违约责任。
合同无效或被撤销：
- 如果因代理人原因导致合同无效或被撤销（如代理人以欺诈、胁迫手段订立合同等），产权人同样可以直接起诉代理人，要求其承担因合同无效或被撤销而产生的法律责任。
四、起诉时的注意事项
收集证据：
- 产权人在起诉前需收集充分证据，以证明代理人的违法行为或违约行为。证据可能包括合同、授权书、现场照片、视频、证人证言等。
确定诉讼请求：
- 产权人需根据具体情况确定诉讼请求，如要求代理人停止侵害、恢复原状、赔偿损失等。
选择管辖法院：
- 产权人需根据法律规定选择合适的管辖法院进行起诉。一般来说，因不动产纠纷提起的诉讼，由不动产所在地人民法院管辖。
建议：产权人在起诉前咨询专业律师，以获取更具体的法律建议和指导。如果你有具体的法律问题或需要进一步的帮助，可以直接向我咨询。