[VB.NET] การดึงข้อมูลจากหน้าเว็บเพจ ด้วยการอ่านค่า HTML Tag

thongkorn

โปรเจคนี้จัดว่าเป็นลักษณะพื้นฐานในกระบวนการคิดแก้ปัญหา เพราะแอดมินจะนำเสนอวิธีการใช้คำสั่งง่ายๆ ที่ทุกๆภาษาแทบจะต้องมีอยู่แล้ว โดยไม่พึ่งพาความเก่งหรือเทคโนโลยีใหม่ๆแต่ประการใด สำหรับงานนี้เราต้องใช้ความรู้ทั้งด้านการเขียนโปรแกรม และความรู้ในเรื่องการอ่าน Tag ของเอกสาร HTML แต่แอดมินจะขอลัดขั้นตอนนี้ไปนะครับ หากใครไม่รู้ก็ต้องไปศึกษาหาข้อมูลเองก็แล้วกันครับพี่น้อง ...

กระบวนการคิด คือ ให้นำเว็บเพจมาแสดงผลใน WebBrowser Control จากนั้นเอาเอกสาร หรือที่เราเรียกกันว่า HTML TAG ของเว็บเพจมาเก็บไว้ใน RichTextBox Control (ซึ่งปกติตัวนี้เราจะต้องซ่อนการมองเห็นของ Users) จากนั้นทำการค้นหาคำ (Instr = In String) ที่ต้องการ แล้วเลือกออกมาตามแพทเทิร์นของผู้จัดทำเว็บเพจ เพื่อทำการแยกแยะข้อมูล (Parser) ตามที่เราต้องการ ... สรุปรวม เราแค่โหลดเอกสาร HTML มาเท่านั้น และตัดข้อความเฉพาะในส่วนที่คาดหมายหรือต้องการ แล้วทำการแยกข้อมูลออกมา ในลักษณะที่เหมือนกับชุดข้อความทั่วๆไป ...

ลักษณะข้อมูลที่นำมาใช้เพื่อทำการแยกแยะ ซึ่งเราควรจะนำมาหลายๆชุดเพื่อทำการเปรียบเทียบหาความเหมือน และความต่าง

1. หน่อไม้ฝรั่ง(เขียว)
   
2. <TD class=Tb_Hprice01 width=40>ม.ค. </TD>
   
3. <TD class=Tb_cntHP01_02 width=70 align=center>156.45 </TD>
   
4. <TD class=Tb_cntHP01_02 width=70 align=center>240.00 </TD>
   
5. <TD class=Tb_cntHP01_02 width=70 align=center>120.00 </TD>
   
6. 
   
7. กุ้ยช่ายขาว
   
8. <TD class=Tb_Hprice01 width=40>ม.ค. </TD>
   
9. <TD class=Tb_cntHP01_02 width=70 align=center>114.84 </TD>
   
10. <TD class=Tb_cntHP01_02 width=70 align=center>130.00 </TD>
    
11. <TD class=Tb_cntHP01_02 width=70 align=center>100.00 </TD>
    
12. 
    
13. ผักกวางตุ้งธรรมดา
    
14. <TD class=Tb_Hprice01 width=40>ม.ค. </TD>
    
15. <TD class=Tb_cntHP01_02 width=70 align=center>9.92 </TD>
    
16. <TD class=Tb_cntHP01_02 width=70 align=center>20.00 </TD>
    
17. <TD class=Tb_cntHP01_02 width=70 align=center>2.00 </TD>

คัดลอกไปที่คลิปบอร์ด

โค้ดตัวหลักในการแยกแยะข้อมูลออกจากชุดตัวอักษรธรรมดา ... จะเป็นโปรแกรมย่อย เพราะมันมีรอบการทำงาน 12 เดือนที่ซ้ำๆกัน

1.     ' / --------------------------------------------------------------------------
   
2.     Private Sub ExtractData(ByVal MyMonth As String, ByVal MyYear As Integer, ByVal PlantName As String)
   
3.         Dim iStart As Long
   
4.         Dim iArr(4) As String
   
5.         Dim tmp As String
   
6.         If RichTextBox1.Text.Length = 0 Then Return
   
7.         '// เริ่มต้นอ่านชุดราคาตัวแรกเป็น ราคาเฉลี่ย ... โดยเริ่มนับจากชื่อแรกของเดือน และนับเผื่อไปอีก 195 ตัว
   
8.         iStart = InStr(RichTextBox1.Text, MyMonth)
   
9.         tmp = Mid(RichTextBox1.Text, iStart, 195)
   
10.         '// จะได้--> "ม.ค. </TD>  <TD class=Tb_cntHP01_02 width=70 align=center>156.45 </TD>  <TD class=Tb_cntHP01_02 width=70 align=center>240.00 </TD>  <TD class=Tb_cntHP01_02 width=70 align=center>120.00 </TD>  <TD"
    
11. 
    
12.         tmp = tmp.Replace("<TD class=Tb_cntHP01_02 width=70 align=center>", "")
    
13.         '// ให้ตัดคำซ้ำออกไปก็จะเหลือ
    
14.         '//--> "ม.ค. </TD>  156.45 </TD>  240.00 </TD>  120.00 </TD>  <TD"
    
15.         '// แยกชุดข้อมูลออกจากกันด้วย </td> ทำให้
    
16.         iArr = Split(tmp.ToLower, "</td>")
    
17.         '// iArr(0) = ชื่อเดือน
    
18.         '// iArr(1) = "  156.45 " <-- ราคาเฉลี่ย
    
19.         '// iArr(2) = "  240.00 " <-- ราคาสูงสุด
    
20.         '// iArr(3) = "  120.00 " <-- ราคาต่ำสุด
    
21.         Dim row As String() = New String() {Trim(iArr(0)), MyYear, PlantName, Trim(iArr(1)), Trim(iArr(2)), Trim(iArr(3))}
    
22.         dgvData.Rows.Add(row)
    
23.     End Sub

คัดลอกไปที่คลิปบอร์ด

มาดูโค้ดแบบฉบับเต็ม ...

1. ' / --------------------------------------------------------------------------
   
2. ' / Developer : Mr.Surapon Yodsanga (Thongkorn Tubtimkrob)
   
3. ' / eMail : thongkorn@hotmail.com
   
4. ' / URL: http://www.g2gnet.com (Khon Kaen - Thailand)
   
5. ' / Facebook: https://www.facebook.com/g2gnet (For Thailand)
   
6. ' / Facebook: https://www.facebook.com/commonindy (Worldwide)
   
7. ' / Purpose: Read HTML Tag from RichTextBox and get some data into DataGridView.
   
8. ' / Microsoft Visual Basic .NET (2010)
   
9. ' /
   
10. ' / This is open source code under @CopyLeft by Thongkorn Tubtimkrob.
    
11. ' / You can modify and/or distribute without to inform the developer.
    
12. ' / --------------------------------------------------------------------------
    
13. 
    
14. Public Class frmHtml2DataGrid
    
15. 
    
16.     ' / --------------------------------------------------------------------------
    
17.     Private Sub btnLook_Click(sender As System.Object, e As System.EventArgs) Handles btnLook.Click
    
18.         If Trim(txtWebAddress.Text) = "" Then Return
    
19.         WebBrowser1.Navigate(txtWebAddress.Text)
    
20.     End Sub
    
21. 
    
22.     ' / --------------------------------------------------------------------------
    
23.     Private Sub frmHtml2DataGrid_Load(sender As System.Object, e As System.EventArgs) Handles MyBase.Load
    
24.         '// Sample
    
25.         txtWebAddress.Text = "http://www.taladsimummuang.com/dmma/Portals/PriceListItem.aspx?id=010131020"
    
26.         '// แสดงผล Web Address บน WebBrowser
    
27.         If Trim(txtWebAddress.Text) <> "" Then Call btnLook_Click(sender, e)
    
28.         '//
    
29.         Call InitializeGrid()
    
30.     End Sub
    
31. 
    
32.     ' / --------------------------------------------------------------------------
    
33.     Private Sub btnRead_Click(sender As System.Object, e As System.EventArgs) Handles btnRead.Click
    
34.         '// เคลียร์ค่าใน RichTextBox
    
35.         RichTextBox1.Clear()
    
36.         '// รับค่าเอกสาร HTML TAG ที่อยู่ใน WebBrowser
    
37.         RichTextBox1.Text = WebBrowser1.Document.Body.InnerHtml
    
38.         If RichTextBox1.Text.Length = 0 Then Return
    
39.         '// อ่าน TAG เข้าสู่ตารางกริด
    
40.         Call DataWeb2Grid()
    
41. 
    
42.         '// เลื่อนแท็ปไปตัวที่ 3 เพื่อแสดงผลข้อม฿ลในตารางกริด
    
43.         TabControl1.SelectedIndex = 2
    
44.     End Sub
    
45. 
    
46.     ' / --------------------------------------------------------------------------
    
47.     Private Sub DataWeb2Grid()
    
48.         Dim iStart As Long
    
49.         Dim iArr(1) As String
    
50.         Dim tmp As String
    
51. 
    
52.         '// อ่านชื่อพืชผัก
    
53.         iStart = InStr(RichTextBox1.Text, "ชื่อ")
    
54.         '// จากตำแหน่งแรก iStart ให้บวกไป 25 หลัก และนับไปอีกทั้งหมด 60 ตัว (เผื่อเอาไว้ กรณีมีชื่อผักยาวๆ)
    
55.         tmp = Trim(Mid$(RichTextBox1.Text, iStart + 25, 60))
    
56.         '// รูปแบบข้อมูลที่ได้ (ภายใต้เครื่องหมาย Double Quote "")
    
57.         ' ">หน่อไม้ฝรั่ง(เขียว)</TD></TR>  <TR>  <TD height=10 colSpan="
    
58. 
    
59.         '// แยกชุดข้อมูลออกจากกันด้วย </td> แล้วนำเฉพาะ iArr(0) มาเป็นคำตอบ (จะนับถอยหลังเอาก็ได้ แต่จะยุ่งยากกว่า)
    
60.         iArr = Split(tmp.ToLower, "</td>")
    
61.         '// iArr(0) = ">หน่อไม้ฝรั่ง(เขียว)"
    
62.         '// ให้ Replace เครื่องหมาย > ออกไป (เพราะข้อมูลอื่นที่อ่านตัวแรก)
    
63.         Dim PlantName As String = Trim(iArr(0).Replace(">", ""))
    
64. 
    
65.         '// เริ่มอ่านปี พ.ศ. โดยการค้นหาคำว่า "ราคาเฉลี่ยรายเดือน ประจำปี"
    
66.         '// หากเจอให้ iStart + ความยาวของคำมันเอง + 1
    
67.         iStart = InStr(RichTextBox1.Text, "ราคาเฉลี่ยรายเดือน ประจำปี") + Len("ราคาเฉลี่ยรายเดือน ประจำปี") + 1
    
68.         Dim MyYear As Integer = Mid(RichTextBox1.Text, iStart, 4)
    
69. 
    
70.         '// เช็คว่านำข้อมูลเข้าสู่ตารางกริดหรือยัง
    
71.         For i = 0 To dgvData.Rows.Count - 1
    
72.             '// ตรวจสอบชื่อพืชผักและปี ที่อยู่ในตารางกริด
    
73.             If (PlantName = dgvData.Rows(i).Cells(2).Value.ToString) And _
    
74.                 (MyYear = dgvData.Rows(i).Cells(1).Value.ToString) Then Return
    
75.         Next
    
76.         '// Loop Data each month.
    
77.         Dim MyMonth As String() = New String() {("ม.ค."), ("ก.พ."), ("มี.ค."), ("เม.ย."), ("พ.ค."), ("มิ.ย."), ("ก.ค."), ("ส.ค."), ("ก.ย."), ("ต.ค."), ("พ.ย."), ("ธ.ค.")}
    
78.         For i = 0 To 11
    
79.             '// ชื่อเดือนแบบย่อ, ปี, ชื่อพืชผัก
    
80.             Call ExtractData(MyMonth(i), MyYear, PlantName)
    
81.         Next
    
82.     End Sub
    
83. 
    
84.     ' / --------------------------------------------------------------------------
    
85.     Private Sub ExtractData(ByVal MyMonth As String, ByVal MyYear As Integer, ByVal PlantName As String)
    
86.         Dim iStart As Long
    
87.         Dim iArr(4) As String
    
88.         Dim tmp As String
    
89.         If RichTextBox1.Text.Length = 0 Then Return
    
90.         '// เริ่มต้นอ่านชุดราคาตัวแรกเป็น ราคาเฉลี่ย ... โดยเริ่มนับจากชื่อแรกของเดือน และนับเผื่อไปอีก 195 ตัว
    
91.         iStart = InStr(RichTextBox1.Text, MyMonth)
    
92.         tmp = Mid(RichTextBox1.Text, iStart, 195)
    
93.         '// จะได้--> "ม.ค. </TD>  <TD class=Tb_cntHP01_02 width=70 align=center>156.45 </TD>  <TD class=Tb_cntHP01_02 width=70 align=center>240.00 </TD>  <TD class=Tb_cntHP01_02 width=70 align=center>120.00 </TD>  <TD"
    
94. 
    
95.         tmp = tmp.Replace("<TD class=Tb_cntHP01_02 width=70 align=center>", "")
    
96.         '// ให้ตัดคำซ้ำออกไปก็จะเหลือ
    
97.         '//--> "ม.ค. </TD>  156.45 </TD>  240.00 </TD>  120.00 </TD>  <TD"
    
98.         '// แยกชุดข้อมูลออกจากกันด้วย </td> ทำให้
    
99.         iArr = Split(tmp.ToLower, "</td>")
    
100.         '// iArr(0) = ชื่อเดือน
     
101.         '// iArr(1) = "  156.45 " <-- ราคาเฉลี่ย
     
102.         '// iArr(2) = "  240.00 " <-- ราคาสูงสุด
     
103.         '// iArr(3) = "  120.00 " <-- ราคาต่ำสุด
     
104.         Dim row As String() = New String() {Trim(iArr(0)), MyYear, PlantName, Trim(iArr(1)), Trim(iArr(2)), Trim(iArr(3))}
     
105.         dgvData.Rows.Add(row)
     
106.     End Sub
     
107. 
     
108.     Private Sub WebBrowser1_DocumentCompleted(sender As System.Object, e As System.Windows.Forms.WebBrowserDocumentCompletedEventArgs) Handles WebBrowser1.DocumentCompleted
     
109.         Dim UrlString As String = WebBrowser1.Url.AbsoluteUri.ToString()
     
110.         '// จะแสดงลิ้งค์ใหม่ใน Web Address ทันทีที่มีลิ้งค์ไปยังหน้า PriceListItem.aspx
     
111.         If InStr(UrlString.ToLower, "PriceListItem.aspx".ToLower) > 0 Then
     
112.             txtWebAddress.Text = UrlString
     
113.         End If
     
114.     End Sub
     
115. 
     
116.     ' / --------------------------------------------------------------------------------
     
117.     '// การตั้งค่าเริ่มต้นให้กับตารางกริดในแบบ @Run Time
     
118.     Private Sub InitializeGrid()
     
119.         With dgvData
     
120.             .RowHeadersVisible = False
     
121.             .AllowUserToAddRows = False
     
122.             .AllowUserToDeleteRows = False
     
123.             .AllowUserToResizeRows = False
     
124.             .MultiSelect = False
     
125.             .SelectionMode = DataGridViewSelectionMode.FullRowSelect
     
126.             .ReadOnly = True
     
127.             .Font = New Font("Tahoma", 9)
     
128.             ' จัดความกว้างของแต่ละหลัก
     
129.             .AutoSizeColumnsMode = DataGridViewAutoSizeColumnsMode.Fill
     
130.             .AutoResizeColumns()
     
131.             ' Adjust Header Styles
     
132.             With .ColumnHeadersDefaultCellStyle
     
133.                 .BackColor = Color.Navy
     
134.                 .ForeColor = Color.White
     
135.                 .Font = New Font("Tahoma", 9, FontStyle.Bold)
     
136.             End With
     
137.             '// Columns Specified (Count all Columns)
     
138.             .ColumnCount = 6
     
139.             .Columns(0).Name = "Month"
     
140.             .Columns(1).Name = "Year"
     
141.             .Columns(2).Name = "PlantName"
     
142.             .Columns(3).Name = "Average"
     
143.             .Columns(4).Name = "Max"
     
144.             .Columns(5).Name = "Min"
     
145.             '//
     
146.             .Columns("Month").HeaderText = "เดือน"
     
147.             .Columns("Year").HeaderText = "ปี พ.ศ."
     
148.             .Columns("PlantName").HeaderText = "ผลิตผล"
     
149.             .Columns("Average").HeaderText = "ราคาเฉลี่ย"
     
150.             .Columns("Max").HeaderText = "ราคาสูงสุด"
     
151.             .Columns("Min").HeaderText = "ราคาต่ำสุด"
     
152.             '// จัดระเบียบการแสดงผล
     
153.             For i = 3 To 5
     
154.                 .Columns(i).DefaultCellStyle.Alignment = DataGridViewContentAlignment.MiddleRight
     
155.                 .Columns(i).HeaderCell.Style.Alignment = DataGridViewContentAlignment.MiddleRight
     
156.             Next
     
157.         End With
     
158.     End Sub
     
159. 
     
160.     Private Sub btnExit_Click(sender As System.Object, e As System.EventArgs) Handles btnExit.Click
     
161.         Me.Close()
     
162.     End Sub
     
163. 
     
164.     Private Sub frmHtml2DataGrid_FormClosed(sender As Object, e As System.Windows.Forms.FormClosedEventArgs) Handles Me.FormClosed
     
165.         Me.Dispose()
     
166.         Application.Exit()
     
167.     End Sub
     
168. 
     
169. End Class

คัดลอกไปที่คลิปบอร์ด

ดาวน์โหลดโค้ดต้นฉบับ VB.NET (2010) ได้ที่นี่ ...