最低資本金の特例によって設立された有限会社

最低資本金の特例によって設立された有限会社の場合、
登記変更を行わなければ、登記記載どおり5年経過時に資本金1000万円への増資ができなければ
職権解散されますので、解散されるのであれば登記はそのままでいいです。
しかし、会社を存続させたいのであれば、資本金の増資は会社法の変更により不要になりましたが、
登記変更によって、5年で要件クリアできなければ解散、という規定を削除する必要があります。
詳しくは経済産業省HPから確認して下さい。
一応、私が確認しているページのURLを貼っておきます。
http://www.meti.go.jp/policy/mincap/mincap-kaishahou.htm

また、結局事業をスタートできなかったとのことですが、事後的ですが、税務署には法人を設立したものの事業をしなかった旨、今回手続きをして解散する旨を書いた嘆願書を添付して、税務署・所轄県税事務所・所轄市役所にそれぞれ相談に行かれることをお勧めします。このようなケースではおそらくしらばっくれていても大丈夫である場合が多いように思いますが、誠意を持って対応したいとのことですから、ご相談されることがよいのではないかと思います。
事業を始めていないので、法人所得がないでしょうから、法人税は発生しないですが、問題は県と市です。法人住民税の均等割がそれぞれ2万円と5万円(最低額として)生じておりますので、5年分の延滞税が出てくる可能性は否定できません。

まずは税務署・県税事務所・市役所のそれぞれにご相談に行って、それから登記の申請でもいいのではないかなと思いますね。