影响香港服务器网站不收录的因素可能包括以下几点：

网站内容质量不佳：如果网站的内容质量不高，包含大量垃圾信息、恶意内容或者抄袭内容，搜索引擎可能不会收录该网站。

网站结构不合理：网站的结构设计不合理，导致搜索引擎无法顺利抓取网站内容，或者存在大量404错误页面。

网站速度慢：如果网站加载速度过慢，用户体验不佳，搜索引擎可能会认为该网站不适合收录。

网站安全问题：如果网站存在安全漏洞或者被黑客攻击，搜索引擎可能会暂时停止对该网站的收录。

网站优化不足：网站的SEO优化不足，没有进行关键词优化、内链建设等操作，搜索引擎可能认为该网站不具备收录的条件。

网站被惩罚：如果网站被搜索引擎认定为违反规定，进行了作弊等行为，搜索引擎可能会对该网站进行惩罚，停止对其收录。