小泉首相の訪朝と課題について☆☆☆☆☆

前から疑問に思っていたのですが。
拉致被害者が日本に帰国するとき、確か
２週間後、一度北朝鮮に帰る約束になって
いたと思うのですが。
相手が相手とは言え日本がその約束を
守らなかった為、北朝鮮がへそを曲げて
しまいました。せっかく相手が土俵に乗って
来たのに日本が自分から土俵を降りてしまいました。
拉致被害者も一度帰らないと家族と相談
が出来ないし、これだけ世界中に注目
されていると北朝鮮と言えども一度帰国
させた被害者を返さないと言う事は
あり得ないと思うのですが。
今回被害者を返さないと判断したのは政府
なのでしょうか？それとも拉致被害家族会
だったのでしょうか？
ご存知の方お教え下さい！