ご質問を拝見致しました。

将来的にきちんとした人事評価制度は作るとして、それはさておき、もしも現状で急に査定基準を作ったとしても、査定期間途中での後出しジャンケンのようなものですから、結局社員の納得は得づらいと思います。

私が制度が無いような小規模の会社でやった事がある方法ですが、評価を行っている社長から、どんな項目を、どんな基準で、どんな優先順位で見ているかということをヒアリングで聞き取り、それを簡単な評価基準書と評価項目にまとめていく形を取ったことがあります。

独断とはいえ、評価者である社長は自分なりの基準の中で評価している訳で、何らかの基準は持っています。その基準をきちん表現したりドキュメント化していないため、周囲に伝わっていないことで独断と言われ、評価される側には不満が溜まっていきます。
この独断に見えている部分を言語化して、評価基準と評価項目にしてしまうということです。

すでに存在する基準を言語化するということなので、今までの査定基準から大きく逸脱することはないはずなので、後出しジャンケンの要素は少し弱まります。
また、今後制度作りをするたたき台に使えるので、仮におかしな偏見に基づく基準があったとしても、修正していく事ができます。
ノウハウなどの面で社内での対応が難しければ、社外人材をごく短期スポットで活用することでもできると思います。

あくまで参考例ですが、こんな方法もあるということで検討されてはいかがかと思います。