一、项目背景

1.1 项目简介

搜索引擎的项目背景有以下几个方面：

1. 随着互联网的发展，网页、文档等各种信息呈指数级增长。在海量的信息中，用户难以快速准确地找到自己需要的相关代码函数内容。例如，每天有大量的技术文章等发布到网上，人们如果没有有效的搜索工具，就会在信息海洋中迷失。

2. 无论是个人用户查找Java中的信息资讯，还是用户寻找代码信息，都迫切需要一种能够高效筛选和定位信息的工具。

3. 对于互联网公司来说，搜索引擎是一个重要的流量入口。通过提供高质量的搜索服务，吸引大量用户访问，例如，百度的搜索页面上会展示各种与用户搜索关键词相关的技术文章，根据点击量或展示量呈现给搜索引擎公司。

1.2 应用技术

信息检索技术

• 倒排索引：倒排索引是一种数据结构，将文档中的词语与出现的文档关联起来，使得搜索引擎能够快速找到包含特定词语的文档。
• 词法分析：词法分析是将文本内容分割成单词或词汇单元的过程，搜索引擎使用词法分析来理解查询和文档中的词汇，从而进行匹配。
• 分词与标记：分词将句子分割成词语，标记则为每个词语附加词性等信息，这有助于搜索引擎理解句子的结构。

二、 项目功能

搜索引擎的项目功能可以从多个方面进行分析，以下是一些常见的功能：

2.1 数据收集与索引

数据收集：搜索引擎需要从各种数据源收集数据，如网页、文档、图片、视频等。这些数据可以通过爬虫程序自动抓取，也可以通过手动提交或其他方式获取。

数据清洗与预处理：在索引之前，需要对收集到的数据进行清洗和预处理，如去除噪声、标签、格式化等，以便提高搜索的准确性和效率。

索引构建：搜索引擎使用索引技术将数据进行结构化处理，以便快速检索。常见的索引结构包括倒排索引、正排索引等。

2.2 API搜索功能

关键词搜索：用户输入关键词后，搜索引擎能够快速返回与关键词相关的搜索结果。搜索结果通常包括网页标题、摘要、链接等信息。

模糊搜索与纠错：搜索引擎能够处理用户输入的模糊关键词，并提供纠错建议，以提高搜索的准确性和用户体验。

2.3 用户体验与界面设计

简洁的搜索界面：搜索界面设计简洁明了，方便用户输入关键词和查看搜索结果。搜索框通常放置在页面的显眼位置，并提供输入提示和自动补全功能。

搜索结果展示：搜索结果以清晰、易读的方式展示给用户，通常包括标题、摘要、链接等信息。搜索结果可以按照相关性、时间、热度等进行排序。

2.4 性能优化与维护

性能优化：搜索引擎需要不断优化其性能，以提高搜索速度和响应时间。这可以通过优化索引结构、查询算法等方式实现。

三、测试报告

测试用例：

3.1 功能测试

输入测试
因为该项目不支持模糊匹配，查找结果是根据查询词是否包含在文档内容中来筛选的，因此等价类的划分如下：

测试输入数据：

附上部分测试截图：

有效等价类：

• 输入字母
  

预期结果:搜索成功,显示与字母相关的结果.

实际结果:搜索成功,显示带有字母的结果.

• 输入数字

预期结果:搜索成功,显示与数字相关的结果.

实际结果:搜索成功,显示带有数字的结果.

无效等价类：

• 输入汉字
  

预期结果:搜索失败,查找不到结果

实际结果:搜索失败,查找不到结果

• 输入空格
  

预期结果:搜索失败,查找不到结果

实际结果:搜索失败,查找不到结果

3.2 界面测试

显示搜索结果总数是否和实际展示保持一致

这里搜索一个条目比较少的方便展示：如图可以看到确实保持一致

数量大之后就需要定位页面元素编写代码来统计具体实际展示出的结果总数，这里贴上部分代码：

private String parseHtmlContentByRegex(File file ){
        String content=readFile(file);
        //通过正则表达式去掉正文中的"," ");
        //通过正则表达式去掉正文中的其它标签
        content=content.replaceAll("<.*?>"," ");
        通过正则表达式合并多个空格
        content = content.replaceAll("\\s+", " ");
        content.replaceAll("  "," ");
        content.replaceAll("   "," ");
        return  content;
    }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

标题、描述、URL是否正确显示

如图，可以看到三者正确显示：

3.3 性能测试

单线程构建正排和倒排索引

代码如下：

public void run(){
        List<File> fileList=new ArrayList<>();
        //枚举所有以.html结尾的文件
        enumFile(INPUT_FILE,fileList);

        long start=System.currentTimeMillis();
        //解析每一个html文件
        for(File file:fileList){
            //解析每一个html文件
           parseHtml(file);
            System.out.println(file.getName());
            if(file.getName().equals("ArrayList")){
                System.out.println("===============================================================");
            }

        }

        index.save();
        long end=System.currentTimeMillis();
        log.info("单线程所消耗的时间:"+(end-start)+"ms");
    }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21

单线程消耗时间如下图所示：

多线程构建正排和倒排索引

代码如下：

public void runByThread() throws InterruptedException {

        List<File> fileList=new ArrayList<>();
        //枚举所有以.html结尾的文件
        enumFile(INPUT_FILE,fileList);


        long start=System.currentTimeMillis();
        //创建一个包含10个线程的线程池
        ExecutorService executorService= Executors.newFixedThreadPool(10);
        //创建一个计数器来表示文件的数量
        CountDownLatch countDownLatch=new CountDownLatch(fileList.size());
        for(File file:fileList){
            executorService.submit(new Runnable() {
                @Override
                public void run() {
                    parseHtml(file);
                    log.info("文件名:"+file.getName()+"文件路径:"+file.getAbsolutePath());
                    countDownLatch.countDown();
                }
            });

        }
        countDownLatch.await();
        executorService.shutdown();
        index.save();
        long end=System.currentTimeMillis();
        log.info("多线程所消耗的时间:"+(end-start)+"ms");


    }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32

多线程消耗时间如下图所示：

这里可以看到多线程的处理速度比单线程快了许多，时间也大概快了一倍

下面是10个线程的处理性能：

10个线程短时间内的吞吐量：

多线程下单短时间响应时间折线图：

下图是界面的响应速度：

3.4 兼容性测试

![在Windows11环境下：
联想浏览器：正常运行]

![在Windows11环境下：
谷歌浏览器：正常运行、

![在Windows11环境下：
Edge浏览器：正常运行]

小米手机环境：
手机QQ浏览器：正常运行

3.5 自动化测试

自动化测试代码如下：

 void searchResult() throws InterruptedException {
        
        //找到搜索框，输入查询词
        driver.findElement(By.cssSelector("body > div > div.header > input[type=text]")).sendKeys("static");
        //点击搜索按钮
        driver.findElement(By.cssSelector("#search-btn")).click();
        Thread.sleep(3000);
        //找到搜索结果的标题并进行点击
        driver.findElement(By.cssSelector("body > div > div.result > div:nth-child(2) > a")).click();

        //获取当前页面的句柄
        String curHandle=driver.getWindowHandle();
        Set<String> handles=driver.getWindowHandles();
        for (String handle:handles){
            if (handle!=curHandle){
                driver.switchTo().window(handle);
            }
        }
        Thread.sleep(3000);
        //查找在线文档页面的元素验证跳转成功
        driver.findElement(By.cssSelector("#allclasses_navbar_top > li > a"));
    }

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24

如下效果图展示：

四、测试总结

4.1 功能测试方面

1. 搜索准确性
   测试了不同类型的关键词，包括常见词汇、专业术语、模糊表述等。发现大部分常见词汇能准确找到相关结果，但对于一些非常模糊或者具有多义性的表述，搜索引擎的结果准确性会有所下降。例如，搜索“苹果”，除了水果类结果，还会出现苹果公司相关结果，在某些特定需求下可能不够精准。
2. 搜索结果多样性
   检查搜索结果是否涵盖了多种来源，如网页、新闻、学术论文、图片、视频等。总体上，现代搜索引擎在这方面表现较好，能提供较为丰富的结果类型。但在一些特定领域，如小众的学术研究方向，结果多样性可能会受到数据源数量的限制。
3. 搜索排序合理性
   评估搜索结果的排序是否符合相关性原则。一般来说，搜索引擎会根据关键词匹配度、网页权重等因素进行排序。然而，有时会发现商业推广内容的排序可能会影响到自然搜索结果的展示顺序，对用户体验有一定的干扰。

4.2 性能测试方面

1. 响应速度
   在不同网络环境下（如高速宽带、移动网络）测试搜索请求的响应时间。在良好网络环境下，响应速度较快，能在1 - 2秒内给出结果。但在网络信号较差的移动网络环境中，响应时间可能会延长到5 - 10秒甚至更久。
2. 资源占用
   监控搜索引擎在运行过程中对设备资源（如CPU、内存）的占用情况。在长时间使用或者进行大量搜索时，搜索引擎的客户端可能会占用较多内存，导致设备运行速度变慢，尤其是在配置较低的设备上。

4.3 用户界面测试方面

1. 界面布局
   检查搜索引擎界面的布局是否简洁、直观。良好的界面布局应该能够让用户快速找到搜索框、筛选工具等重要元素。部分搜索引擎在界面上存在广告位过多，影响用户对搜索结果的查看体验的问题。
2. 易用性
   测试用户操作的便捷性，如输入关键词、选择搜索结果、使用高级搜索功能等。一些搜索引擎的高级搜索功能隐藏较深，普通用户很难发现和使用，降低了搜索的精准性和效率。