如何用JAVA从HTML源代码中提取有用的文本信息？

Question

比如在网页上有一段需要的信息，请问怎样用java编程将其提取出来并保存？

Answer 1

可以使用java API中的URL抓取流，也可以使用Apache的HttpClient等多种方法，最终得到的就是字符串咯，得到字符串就好办了，使用正则匹配，将匹配的保存起来就可以了追问

正则表达式吗？这个不是特别理解，能具体讲一下吗，假如我需要提取的信息有几段，有数字也有中文是分开匹配吗？

追答

如将连接中的流读取出来方法：

/**
     * 将网页上的数据流转成字符串
     * 
     * @param url
     * @return
     * @throws IOError 
     */
    public String getSourceFromURL(String url) throws IOException {
        URL u=new URL(url);
        InputStream in=u.openStream();
        StringBuilder sb=new StringBuilder();
        byte[] buff=new byte[1024];
        int len;
        while((len=in.read(buff))!=-1){
            //此处使用UTF-8编码，如果遇到像新浪这样的网站编码不是UTF-8的，就会乱，
            //此处我就不过细处理了
            sb.append(new String(buff,0,len,"UTF-8"));
            
        }
        in.close();
        return String.valueOf(sb);
    }

获得网页中的所有数据后，便可以使用正则表达式匹配了，这不得不说要正则表达式灵活运用才方能不用代码进行各种处理了，我的正则表达式都有一段时间没有，又陌生了：

此处我就随便写一个获取标题的正则吧，不过没有做什么就近匹配，如果页面有多个能匹配到的标签，那么可能会匹配不到想要的