สัปดาห์ที่ 9
การประเมินผลระบบสารสนเทศ
1
หัวข้ อ
1. Costs & Benefits
2. Evaluation Methods
3. ความสาเร็ จของระบบสารสนเทศ
4. การประเมินความพึงพอใจและประโยชน์ของระบบ
สารสนเทศ
2
Costs & Benefits
• Assessing the costs
– Fixed costs: are those costs that remain the same
regardless of change in the activity level. For IT,
fixed costs include infrastructure cost, cost of IT
services, and IT management cost
– Total cost of ownership (TCO): Formula for
calculating cost of acquiring, operating and
controlling an IT system.
• Assessing the benefits (Values)
– Intangible benefits. Benefits from IT that may be
very desirable but difficult to place an accurate
monetary value on.
• Comparing the two
3
“Costing” IT Investments - Evaluating
• Placing a dollar value on the cost of IT investments is not a simple
task. One of the major issues is to allocate fixed costs among
different IT projects. Fixed costs are those costs that remain the
same in total regardless of change in the activity level.
• Another area of concern is the Life Cycle Cost; costs for keeping it
running, dealing with bugs, and for improving and changing the
system. Such costs can accumulate over many years, and
sometimes they are not even anticipated when the investment is
made.
• There are multiple kinds of values (tangible and intangible)
– improved efficiency
– improved customer relations
– the return of a capital investment measured in dollars or
percentage
– many more …
• Probability of obtaining a return depends on probability of
implementation success
4
Generic Benefits
Strategic Benefits
Management Benefits
Operational Benefits
Functional & Support Benefits
Tangible & Intangible Benefits
Tangible benefits (hard benefits)
• revenues
• cost savings
• number of courses offered online
Intangible benefits (soft benefits)
• improvements in satisfaction
• improved ability to make decisions
12
Disbenefits
• Job loss
• Standardization of work process limits creativity
13
Specific Evaluation Methods
• Value analysis – With the value analysis
method, the organization evaluates
intangible benefits using a low-cost, trial
EC system before deciding whether to
commit to a larger investment in a
complete system
14
Specific Evaluation Methods (continued)
• Benchmarks – This method is appropriate for
evaluating EC infrastructure. Using industry
standards, for example, the organization can
determine what the industry is spending on eCRM. Then the organization can decide how
much it should spend. Benchmarks may be
industry metrics or best practices recommended
by professional associations or consultants
15
Specific Evaluation Methods (continued)
• Management by maxim – An organization
may use this method to determine how
much it should invest in large EC (and IT)
infrastructures. It is basically a
combination of brainstorming and
consensus-reaching methodologies
16
Value of Information - Evaluating
One measurement of the benefit of an investment is
the value of the information provided. The value of
information is the difference between the net benefits
(benefits adjusted for costs) of decisions made using
information and the net benefits of decisions made
without information.
Value of information = Net benefits with information - Net benefits without information
17
ปัจจัยที่ส่งผลต่ อความสาเร็จของระบบสารสนเทศ
(critical success factors)
•
การมีส่วนร่ วมในการพัฒนาระบบของผูใ้ ช้ (user
involvement)
•
•
•
ความรู ้เกี่ยวกับธุรกิจ (business knowledge)
การจัดการความคาดหวัง (expectation management)
การจัดการการเปลี่ยนแปลงข้อกาหนด (management of
changes in requirements)
18
การมีส่วนร่ วมในการพัฒนาระบบของผู้ใช้
(user involvement) - รู ปแบบ
•
•
•
Consultative participation
Representative participation
Consensus participation
19
การมีส่วนร่ วมในการพัฒนาระบบของผู้ใช้
(user involvement) - ความสมดุล
• Involvement equilibrium - พอดี
• Involvement saturation - มากเกินไป
• Involvement deprivation - น้อยเกินไป
20
การวัดระดับการมีส่วนร่ วมของผู้ใช้
• การวัดว่าผูใ้ ช้ตอ้ งการมีส่วนร่ วมในกิจกรรมต่างๆ ของการ
พัฒนาระบบมากน้อยเพียงใด
• โดยการระบุกิจกรรมต่างๆ ของการพัฒนาระบบ และวัด
ระดับความต้องการมีส่วนร่ วมตั้งแต่ระดับ 1 (ไม่มีความ
ต้องการเลย) ถึงระดับ 5 (มีความต้องการมาก)
21
การวัดระดับการมีส่วนร่ วมของผู้ใช้ (ต่ อ)
• กิจกรรมในการพัฒนาระบบ
–
–
–
–
–
–
–
–
ริ เริ่ มโครงการ
กาหนดวัตถุประสงค์ของระบบ
ระบุความต้องการด้านข้อมูลของผูใ้ ช้
ประเมินทางเลือกอื่นๆ ที่จะตอบสนองความต้องการด้านข้อมูลของผูใ้ ช้
ระบุแหล่งข้อมูล
อธิ บายการไหลของข้อมูลอย่างคร่ าวๆ
พัฒนาแบบฟอร์มการนาเข้าข้อมูล / หน้าจอ
พัฒนารู ปแบบของ output
22
ความรู้ เกีย่ วกับธุรกิจ (business knowledge)
1)
2)
ความเข้าใจเกี่ยวกับธุรกิจขององค์กร ภารกิจขององค์กร
เป้ าหมายและวัตถุประสงค์ รวมไปถึงความเข้าใจใน
วงการอุตสาหกรรม (ผูจ้ ดั การโครงการ)
ความเข้าใจเกี่ยวกับวัฒนธรรมขององค์กร และ
กระบวนการทางาน (ผูจ้ ดั การโครงการ)
23
การจัดการความคาดหวัง
(expectation management)
•
•
เจ้าของโครงการ ผูส้ นับสนุนโครงการ และผูใ้ ช้ มีความ
คาดหวังต่อระบบที่ตรงกับ ทีมพัฒนาระบบ (ผูจ้ ดั การ
โครงการและทีมนักพัฒนาระบบ)
การจัดการความคาดหวังในระหว่างที่ระบบกาลังได้รบั การ
พัฒนา การรายงานความคืบหน้าในรู ปของรายงาน
milestones และตัวชี้วดั อื่นๆ เพื่อให้ผใู ้ ช้เห็นภาพว่าระบบ
ถูกพัฒนาตามความคาดหวังอย่างไร
24
การจัดการการเปลีย่ นแปลงข้ อกาหนด
(management of changes in requirements)
•
ตั้งคณะกรรมการเพื่อจัดการการเปลี่ยนแปลงของข้อกาหนด
–
–
–
–
เพื่อส่ งเสริ มข้อเสนอการเปลี่ยนแปลงที่เป็ นประโยชน์และสร้างสรรค์
เพื่อสร้างกระบวนการพิจารณาและอนุมตั ิขอ้ เสนอการเปลี่ยนแปลง
เพื่อสร้างกลไกในการบริ หารข้อเสนอการเปลี่ยนแปลงที่ได้รับการอนุมตั ิ
เพื่อสร้างช่องทางการสื่ อสาร เพื่อให้ผมู ้ ีส่วนได้ส่วนเสี ยรับทราบการ
เปลี่ยนแปลงและความก้าวหน้า
25
การประเมินผลระบบสารสนเทศ
ความพึงพอใจของผู้ใช้
• การวัดความพึงพอใจของผูใ้ ช้ ในประเด็นต่างๆ
– เนื้อหา (content)
– ความถูกต้อง (accuracy)
– รู ปแบบ (format)
– ความยากง่ายในการใช้งาน (ease of use)
– ความเหมาะสมแก่เวลา (timeliness)
26
การประเมินผลระบบสารสนเทศ
ความพึงพอใจของผู้ใช้ (ต่ อ)
• การวัดความพึงพอใจของผูใ้ ช้ ในประเด็นต่างๆ
– เนื้อหา
- ระบบให้ขอ้ มูลที่ถูกต้องตรงตามที่คุณต้องการหรื อไม่
- ข้อมูลนั้นมีเนื้อหาตรงตามความต้องการของคุณหรื อไม่
- ระบบนาเสนอรายงานที่ตรงตามความต้องการของคุณหรื อไม่
- ระบบให้ขอ้ มูลที่เพียงพอหรื อไม่
27
การประเมินผลระบบสารสนเทศ
ความพึงพอใจของผู้ใช้ (ต่ อ)
• การวัดความพึงพอใจของผูใ้ ช้ ในประเด็นต่างๆ
– ความถูกต้อง
- ระบบทางานได้ถูกต้องหรื อไม่
- คุณพึงพอใจกับความถูกต้องของระบบหรื อไม่
28
การประเมินผลระบบสารสนเทศ
ความพึงพอใจของผู้ใช้ (ต่ อ)
• การวัดความพึงพอใจของผูใ้ ช้ ในประเด็นต่างๆ
– รู ปแบบ
- คุณคิดว่ารายงานถูกนาเสนอในรู ปแบบที่เป็ นประโยชน์หรื อไม่
- ข้อมูลมีความชัดเจนหรื อไม่
29
การประเมินผลระบบสารสนเทศ
ความพึงพอใจของผู้ใช้ (ต่ อ)
• การวัดความพึงพอใจของผูใ้ ช้ ในประเด็นต่างๆ
– ความยากง่ายในการใช้งาน
- ระบบนี้ user-friendly หรื อไม่
- ระบบใช้งานง่ายหรื อไม่
30
การประเมินผลระบบสารสนเทศ
ความพึงพอใจของผู้ใช้ (ต่ อ)
• การวัดความพึงพอใจของผูใ้ ช้ ในประเด็นต่างๆ
– ความเหมาะสมแก่เวลา
- คุณได้รับข้อมูลที่คุณต้องการทันเวลาหรื อไม่
- ระบบให้ขอ้ มูลที่ทนั สมัยหรื อไม่
31
การประเมินผลระบบสารสนเทศ
ประโยชน์ ที่คดิ ว่ าได้ รับ (perceived usefulness)
• การวัดความคิดเห็นของผูใ้ ช้ที่มีต่อประโยชน์ของระบบใน
ประเด็นต่างๆ
– Task productivity
– Task innovation
–
ความพึงพอใจของลูกค้า (Customer satisfaction)
– Management control
32
การประเมินผลระบบสารสนเทศ
ประโยชน์ ที่คดิ ว่ าได้ รับ (perceived usefulness) (ต่ อ)
• การวัดความคิดเห็นของผูใ้ ช้ที่มีต่อประโยชน์ของระบบใน
ประเด็นต่างๆ
– Task productivity
- แอพพลิเคชัน่ นี้ช่วยประหยัดเวลาในการทางาน
- แอพพลิเคชัน่ นี้ทาให้ประสิ ทธิ ภาพการทางานสู งขึ้น
- แอพพลิเคชัน่ นี้ทาให้ทางานได้สาเร็ จมากขึ้น
33
การประเมินผลระบบสารสนเทศ
ประโยชน์ ที่คดิ ว่ าได้ รับ (perceived usefulness) (ต่ อ)
• การวัดความคิดเห็นของผูใ้ ช้ที่มีต่อประโยชน์ของระบบใน
ประเด็นต่างๆ
– Task innovation
- แอพพลิเคชัน่ นี้ช่วยให้สามารถสร้างแนวคิดใหม่ๆ ได้
- แอพพลิเคชัน่ นี้ช่วยให้สามารถลองความคิดที่สร้างสรรค์ได้
34
การประเมินผลระบบสารสนเทศ
ประโยชน์ ที่คดิ ว่ าได้ รับ (perceived usefulness) (ต่ อ)
• การวัดความคิดเห็นของผูใ้ ช้ที่มีต่อประโยชน์ของระบบใน
ประเด็นต่างๆ
ความพึงพอใจของลูกค้า
- แอพพลิเคชัน่ นี้ช่วยทาให้การบริ การลูกค้าดีข้ ึน
- แอพพลิเคชัน่ นี้ทาให้ลูกค้ามีความพึงพอใจสู งขึ้น
- แอพพลิเคชัน่ นี้ช่วยให้สามารถตอบสนองความต้องการของ
ลูกค้าได้
–
35
การประเมินผลระบบสารสนเทศ –
ประโยชน์ ที่คดิ ว่ าได้ รับ (perceived usefulness) (ต่ อ)
• การวัดความคิดเห็นของผูใ้ ช้ที่มีต่อประโยชน์ของระบบใน
ประเด็นต่างๆ
– Management control
- แอพพลิเคชัน่ นี้ช่วยให้ฝ่ายจัดการควบคุมกระบวนการทางานได้
- แอพพลิเคชัน่ นี้ทาให้การควบคุมการจัดการดีข้ ึน
- แอพพลิเคชัน่ นี้ช่วยให้ฝ่ายจัดการควบคุมผลการทางานได้
36
ประโยชน์ ของการประเมินระบบสารสนเทศอย่ าง
มีโครงสร้ าง
•
•
•
•
•
•
•
มีการเก็บรวบรวมข้อมูลเพื่อไว้ทาการวิเคราะห์เปรี ยบเทียบได้
ทาให้ผมู ้ ีส่วนได้ส่วนเสี ยมีความมัน่ ใจสู งขึ้น
ทาให้มนั่ ใจในความน่าเชื่อถือของผลการประเมินได้
ทาให้การเก็บรวบรวมทาเป็ นเอกสารทาได้ง่าย
ช่วยให้ผใู ้ ช้ยอมรับผลลัพธ์ของโครงการ
แสดงหลักฐานของความสาเร็ จของโครงการ
ทาให้มีขอ้ มูลที่เป็ นประโยชน์ต่อการจัดโปรแกรมการฝึ กอบรม
37