针对您提出的问题，即“不让小孩在监护人居住地读书导致小孩不上学属于谁的责任”，这主要涉及到监护人的法律责任以及义务教育的相关法律规定。

首先，我们需要明确的是，根据《中华人民共和国义务教育法》的规定，义务教育是所有适龄儿童、少年必须接受的教育，这是他们的权利，同时也是他们的义务。而父母或者其他法定监护人有义务保证适龄儿童、少年按时入学接受义务教育，并有义务保证孩子完成义务教育。这是法律对监护人明确的要求和责任。

在您所描述的情况中，如果监护人因为某些原因（如个人观念、经济条件、居住地变动等）不让小孩在居住地读书，导致小孩无法接受义务教育，那么这种行为就违反了义务教育法的规定。监护人需要承担相应的法律责任，这可能包括被当地乡镇政府或者县政府教育行政部门批评教育，并责令限期改正。如果监护人拒不改正，还可能面临行政处罚，如罚款等。在极端情况下，如果监护人的行为严重影响了小孩的受教育权，相关部门甚至可能向法院申请强制执行。

此外，我们也需要注意到，义务教育不仅是一家一户自己的事，更是关系到培养“四有”社会主义建设者和接班人的公益性事业。因此，各级人民政府及其有关部门也应当履行法律规定的各项职责，保障适龄儿童、少年接受义务教育的权利。这包括提供必要的教育设施、师资力量，以及监督监护人履行其义务等。

综上所述，不让小孩在监护人居住地读书导致小孩不上学，主要责任在于监护人。监护人应当依法保证小孩按时入学接受并完成义务教育，否则将承担相应的法律责任。同时，各级人民政府及其有关部门也应当积极履行职责，保障小孩的受教育权。希望这个解答能够帮助您更好地理解这个问题。