ご質問の趣旨は、現行のサーバールームの顔認証による入退館管理について、問題が無いかアドバイスが欲しいということですね。
サーバールームと生体認証（特に顔認証システム）はどのようなものか、またどうあるべきかを確認したうえで、現行のサーバールームの問題点を明らかにします。

（１）サーバールームとは
サーバールームなどのオフィス施設は、物理的なセキュリティを確保するため、通常は入退館システムを導入します。入退館管理システムは、報漏洩防止・部外者侵入排除・鍵管理の簡素化を実現するシステム群で構成されます。
入退館管理システムの管理対象となる様々なオフィス施設の中でも、サーバールームは特に重要で特定の人物だけが出入りする場所になります。サーバールームには個人情報や会社の機密情報などの重要情報にアクセスできるサーバーが設置されていることが多く、厳重な入室制限が求められるためです。
厳重な入室制限を実現するためには、厳格な本人認証機能が必要です。そして厳格な本人認証機能を実現する手段として、多くの企業で顔認証をはじめとする生体認証が採用されています。

（２）生体認証の特徴とは
ここで生体認証の主な特徴を3つ挙げます。
1つ目は、ID・パスワードおよびカードの所持が不要であることです。
これによりパスワードを忘れない、カードを携帯するといった利用者の負担が軽減されるほか、紛失・盗難・置き忘れ・他人による成りすましができません。
2つ目は、安全性と利便性が調整できることです。
生体認証はその性質上、誤って本人を拒否する可能性（本人拒否率といいます）と、誤って他人を受け入れる可能性（他人受入率といいます）を完全に無くすことはできません。そのため、安全性を重視したい場合は本人拒否率を高めるように、利便性を重視したい場合は他人受入率を高めるように、と目的・用途に応じて調整することが可能です。サーバールームは前述の通り厳密な入室制限が必要なため、できる限り安全性を重視する方向で調整されます。
3つ目は、主に顔認証のデメリットとなりますが、メガネやひげ、ちょっとした表情の違いや加齢といった要素で本人拒否率が上がってしまうことです。

（３）サーバールームと生体認証のあるべき姿
これまで述べた通り、安全性を確保しながら本人拒否率を改善するため、様々な対応策を講じることがサーバールームにおける生体認証としてあるべき姿になります。
以下にて主な対応策を3つ例示します。
１．外部環境の工夫
生体認証装置周辺の環境を調整することで認証精度を安定させる。
具体例として顔認証端末近辺にスポットライトを設置し輝度を安定させる方法があります。
２．学習機能
認証成功時に取得した顔情報を、認証用の生体情報として再登録することで、認証精度を安定させる。
３．代替機能
生体認証ができなかった場合に備え、パスワード認証方式と組み合わせて導入する。

（４）現状の整理
ご相談内容から現状を整理し、それぞれ前述のあるべき姿と比較することで何が問題になりそうかを整理します。
現状のポイントは次の4点です。
１．サーバー作業のため、１日１回必ずサーバールームに入室する必要がある
２．毎日10回顔認証作業をしても認証に失敗してしまい入室できない
３．入社してから4年間、ずっと同じ生体情報（顔写真）が使用されているように見える
４．暗証番号を管理者から教えてもらいそれで入室している

（５）現状の問題点
これらの現状を踏まえ、問題点を3点指摘します。
1つ目は、顔認証を利用できていない点が問題です。顔認証の最大のメリットである利便性が享受できていないためです。
2つ目は、暗証番号認証についてです。暗証番号認証のような代替機能は、本来は一時的な利用にとどめるべきです。管理者から教わった暗証番号を使用してサーバールームへ毎日入室している点が問題です。また、この暗証番号は専門家プロファイルさん固有の番号でしょうか。もし1つの暗証番号を複数の人物で使いまわしている場合、入出者・退出者を特定することができなくなってしまいます。
3つ目は、こうした問題が厳重な入室制限が必要なはずのサーバールームで発生していること、および専門家プロファイルさんのように毎日必ず入館する重要な利用者で発生していることです。
これらの観点から、早急な対応策が望まれる状況であると考えます。

（６）対応策（案）
実行しやすい順番に考えられる対応策を例示します。
1つ目の対応策は、入退室管理簿を作成し、暗証番号認証にて入館する人物を記録することです。可能であれば顔写真入り社員証や運転免許証により施設管理者が本人確認を行うことでより厳密な運用が可能になります。
2つ目の対応策は、外部環境を工夫することです。顔認証端末近辺にスポットライトを設置し輝度を安定させることができます。
3つ目の対応策は、学習機能の導入です。現状では学習機能が未導入と思われるため、学習機能を導入を検討し本人拒否率の改善を図ることをおすすめします。

（７）まとめ
専門家プロファイルさんのように、お勤めの職場環境について問題がないかを検討するのは素晴らしいお心掛けと感じております。サーバールームの入退室管理についてあるべき姿を検討し、できることから改善策を提案することで、情報漏えい等の発生を防ぎ、従業員と職場が手を携えて発展することができるのではないでしょうか。

なお、以下のホームページもご参照の上、生体認証についてより理解を進めていただければ幸いです。

【IPA情報処理推進機構　生体認証導入・運用の手引き】
https://www.ipa.go.jp/security/fy24/reports/bio_sec/documents/bio_guide_24.pdf