协议退还土地使用权后，地上厂房的权属需根据具体情况来确定，以下从不同角度进行分析：
协议中有明确约定：
- 如果在退还土地使用权的协议中，双方已经明确约定了地上厂房的权属归属，那么应当按照协议的约定来执行。这是基于合同自由原则，即双方有权在协议中自由约定各自的权利和义务。
- 例如：若协议中明确规定，退还土地使用权后，地上厂房归原土地使用者所有，那么厂房的权属就归原土地使用者。
协议中未明确约定：
- 如果协议中没有明确约定地上厂房的权属，那么就需要根据相关法律法规和实际情况来判断。
- 根据《民法典》中关于物权的规定：不动产物权的设立、变更、转让和消灭，经依法登记，发生效力；未经登记，不发生效力，但是法律另有规定的除外。因此，如果厂房已经办理了产权登记，那么权属就归登记的所有权人所有。
- 若未办理产权登记：则需要考虑厂房的建设情况、出资情况等因素。如果厂房是由原土地使用者出资建设的，且没有其他相反约定或证据，那么可以认为厂房的权属归原土地使用者所有。但如果存在其他情况，如双方共同出资建设、存在租赁关系等，那么就需要根据具体情况来判断权属。
存在争议或纠纷：
- 如果双方对地上厂房的权属存在争议或纠纷，那么可以通过协商、调解、仲裁或诉讼等方式来解决。
- 在协商或调解过程中：双方可以尝试达成一致意见，明确厂房的权属。
- 如果协商或调解无果：那么可以根据仲裁协议向仲裁机构申请仲裁，或者向人民法院提起诉讼，由仲裁机构或人民法院根据事实和法律来裁决厂房的权属。
建议：在处理此类问题时，务必保留好相关证据，如协议文本、产权登记证书、出资凭证等，以便在需要时证明自己的权益。同时，如果对法律问题存在疑问或不确定，可以及时向我咨询，我会根据具体情况提供专业的法律意见。