Research Methodology

3. Masalah Penelitian
(Research Problem)

Hendra Kurniawan
[email protected]
[email protected]
[email protected]
WA/SMS: +62852 7208 8484

1
 Course Outline (Syllabus)
1. Pengantar Penelitian (Introduction)
2. Tahapan Penelitian (Research Phase)
3. Masalah Penelitian (Research Problem)
4. Literature Review
5. Struktur Penulisan Skripsi/Tesis (Research Writing)
6. Kesalahan Penulisan Skripsi/Tesis (Research Writing)
7. Metode Eksperimen (Experimental Method)
8. Pengujian Skripsi/Tesis (Testing)
9. Publikasi Penelitian (Publication)

2
3. Masalah Penelitian
(Research Problem)

3
Research Problem
Main topic (reason) for research to be implemented
International Reviewer focus on Research Problem
as main review aspects
Research Problem must be objectived (Not
Subjective), logically proved and its should be valid
Recent literature review (State-of-the-art) makes
research problem objective

4
Masalah Penelitian
Masalah penelitian adalah alasan utama mengapa
penelitian harus dilakukan
Reviewer jurnal internasional menjadikan masalah
penelitian sebagai parameter utama proses review
Masalah penelitian harus objective (tidak
subjective), dan harus dibuktikan secara logis dan
valid bahwa masalah itu benar-benar masalah
Supaya logis dan valid, perlu dilakukan objektifikasi
masalah, dengan cara melandasi masalah penelitian
dengan literature terbaru

5
Research Problem Example
Research Title : Implementation of Genetic
Algorithm to select Neural Network Architecture
for Stock Exchange Prediction
Research Problem:
Neural network excellent in Big Data such as Stock
Exchange, but it has drawback in selecting the Neural
Network Architecture, researcher must select it
manually, using trials and errors. Its not efficient and
inaccurate .
Research Objective:
Optimize Network Architecture Selection using Genetic
Algorithm for stock exchange prediction.

6
Contoh Masalah Penelitian
Judul: Penerapan Algoritma Genetika untuk
Penentuan Arsitektur Neural Network Secara
Otomatis pada Prediksi Harga Saham
Masalah Penelitian:
Neural network terbukti memiliki performa bagus untuk
menangani data besar seperti pada data prediksi harga
saham, akan tetapi memiliki kelemahan pada pemilihan
arsitektur jaringannya yang harus dilakukan secara trial
error, sehingga tidak efisien dan mengakibatkan hasil
prediksi kurang akurat
Tujuan Penelitian:
Menerapkan algoritma genetika untuk mengotomatisasi
pemilihan arsitektur jaringan pada neural nework
sehingga lebih efisien dan hasil prediksi lebih akurat
7
 Research Problem and Literature Supports
Research Problems (RP) Literature Supports
There are noisy data points in the software defect data sets
that can not be confidently assumed to be erroneous using
such simple method (Gray et al. 2011)
The performances of software defect prediction improved
when irrelevant and redundant attributes are removed (Wang et
al. 2011)
Data set pada prediksi
cacat software The software defect prediction performance decreases
berdimensi tinggi, dan significantly because the dataset contains noisy attributes (Kim
et al. 2011)
memiliki atribut yang
bersifat noisy, serta Software defect datasets have an imbalanced nature with very
few defective modules compared to defect-free ones (Tosun et al.
classnya bersifat tidak 2010)
balance
Imbalance can lead to a model that is not practical in software
defect prediction, because most instances will be predicted as
non-defect prone (Khoshgoftaar et al. 2010)
Software fault prediction data sets are often highly imbalanced
(Zhang and Zhang 2007)8
Bentuk Masalah Penelitian
Bentuk masalah penelitian bisa dinyatakan dalam bentuk
kalimat pernyataan, kalimat pertanyaan atau kalimat tujuan
1. Pernyataan Masalah (Research Problems (RP)):
Neural network memiliki masalah pada sulitnya penentuan hidden
layer, neuron size dan activation function yang optimal
2. Pertanyaan Penelitian (Research Questions (RQ)):
Apakah ada hubungan antara pemilihan metode pengembangan dan
jumlah pengembang dengan produktifitas pengembang?
Bagaimana akurasi metode naive bayes berbasis backward elimination
untuk penentuan peminatan bagi mahasiswa di universitas
3. Tujuan Penelitian (Research Objectives (RO):
Penelitian ini bertujuan untuk mengetahui hubungan antara jumlah
programmer dan jumlah software yang diproduksi oleh suatu software
house
Penelitian ini bertujuan untuk metode naive bayes berbasis backward
elimination untuk penentuan peminatan bagi mahasiswa dengan akurat

9
 Formulasi RP-RQ-RO
Research Problems
Research Questions (RQ) Research Objectives (RO)
(RP)
Algoritma pemilihan fitur Untuk mengidentifikasi algoritma
apa yang performanya pemilihan fitur apa yang memiliki
Data set terbaik untuk meyelesaikan performa terbaik apabila
RQ1 RO1
pada masalah atribut yang noisy digunakan untuk menyelesaikan
prediksi pada prediksi cacat masalah atribut yang noisy pada
cacat software? prediksi cacat software
software
Algoritma meta learning apa Untuk mengidentifikasi algoritma
berdimensi
yang performanya terbaik meta learning apa yang memiliki
tinggi, dan
untuk menyelesaikan performa terbaik apabila
RP memiliki RQ2 RO2
masalah class imbalance digunakan untuk menyelesaikan
atribut yang
pada prediksi cacat masalah class imbalance pada
bersifat
software? prediksi cacat software
noisy, serta
classnya Bagaimana pengaruh
Untuk mengembangkan algoritma
bersifat penggabungan algoritma
baru yang menggabungkan
tidak pemilihan fitur dan metode
RQ3 RO3 algoritma pemilihan fitur dan
balance meta learning apabila
meta learning untuk prediksi
digunakan untuk prediksi
10
cacat software
cacat software?
3.2 Tahapan Penemuan Masalah
(Research Problem Phase)

11
Darimana Datangnya Masalah?
(Where can we find a problem?)

1. Studi Literatur (Literature Study):

Paper tentang Research Challenges, Research
Direction, Research Trend dan State-of-the-
Art dari Topik Penelitian

2. Studi Lapangan (Field Study):

Data Lapangan, Data Statistik, Kuesioner,
Penelitian Pendahuluan, dsb

12
 Tahapan Penemuan Masalah Computing*
(Finding a research problem in Computing)

1. Tentukan FIELD: software engineering, image

processing, data mining, computer vision,
information retrieval, soft computing, etc
2. Tentukan TOPIC/tema penelitian, dengan
membaca:
Research trend/challenge on (FIELD)
3. Tentukan MASALAH PENELITIAN (Research
Problem), dengan membaca:
1. Review Paper:
Review/Survey on (TOPIC) or Systematic Literature review on (TOPIC)
2. Technical Paper
* http://romisatriawahono.net/2013/01/23/tahapan-memulai-penelitian-untuk-mahasiswa-galau/
13
Contoh Masalah Penelitian
Research Problem:
Algoritma K-Means memiliki kelemahan pada
sulitnya penentuan K yang optimal dan
komputasi yang tidak efisien bila menangani data
besar (Zhao, 2010)
Research Question:
Seberapa efektif algoritma Bee Colony bila
digunakan untuk menentukan nilai K yang
optimal pada K-Means?
Seberapa efisien algoritma backward elimination
bila digunakan untuk mengurangi jumlah
atributpada algoritma K-Means?
14
Perangkuman Metode Yang Ada
Pahami semua paper penelitian yang tujuannya
memecahkan masalah yang sama dengan yang kita
pilih
Pahami metode/algoritma terkini yang mereka
gunakan untuk memecahkan masalah penelitian
mereka. Ini yang disebut dengan state-of-the-art
method
Dalam bidang computing, metode biasanya berupa
algoritma yang secara sistematis, logis dan
matematis menyelesaikan masalah

15
The State-of-the-Art Method
The highest level of development, as of a device,
technique, or scientific field, achieved at a particular
time
The level of development (as of a device, procedure,
process, technique, or science) reached at any
particular time usually as a result of modern methods
(Merriam Webster Dictionary)
This machine is an example of state-of-the-art technology
The state of the art in this field is mostly related to the ABC
technology
A concept used in the process of assessing and
asserting novelty and inventive step (European Patent
Convention (EPC))

16
State-of-the-Art Frameworks in
Software Defect Prediction

Menzies Lessmann Song

Framework Framework Framework

(Menzies et al. 2007) (Lessmann et al. 2008) (Song et al. 2011)

17
 Menzies Framework (Menzies et al. 2007)

Framework Dataset Data Feature Meta- Classifiers Parameter Validation Evaluation

Preprocessor Selectors learning Selectors Methods Methods
(Menzies et NASA Log Filtering Info Gain - 3 algorithms - 10-Fold X ROC Curve
al. 2007) MDP 18 (DT, 1R, NB) Validation (AUC)
 Lessmann Framework (Lessmann et al. 2008)

Framework Dataset Data Feature Meta- Classifiers Parameter Validation Evaluation

Preprocessor Selectors learning Selectors Methods Methods
(Lessman et NASA - - - 22 - 10-Fold X ROC Curve
al. 2008) MDP 19 algorithms Validation (AUC)
 Song Framework (Song et al. 2011)

Framework Dataset Data Feature Meta- Classifiers Parameter Validation Evaluation

Preprocessor Selectors learning Selectors Methods Methods
(Song et al. NASA Log Filtering FS, BE - 3 algorithms - 10-Fold X ROC Curve
2011) MDP 20 (DT, 1R, NB) Validation (AUC)
 Proposed NASA
MDP
Datasets

Framework
LEARNING SCHEME
Training Testing
Data Data

Feature Selectors

Feature Selection
PSO GA

Processed Processed
Training Testing
Data Data
Learning Algorithms

10 Classifiers Learning Testing and

Meta Learning Method Validation
Meta Learning Models

Bagging

Parameter Selectors

Parameter Selection Performance Report

GA

Framework Dataset Data Preprocessor Feature Meta-Learning Classifiers Parameter Validation Evaluation
Selectors Selectors Methods Methods
(Menzies et al. NASA MDP Log Filtering Info Gain 3 algorithm - 10-Fold X ROC Curve
2007) (DT, 1R, NB) Validation (AUC)
(Lessman et al. NASA MDP - - 22 algorithm - 10-Fold X ROC Curve
2008) Validation (AUC)
(Song et al. NASA MDP Log Filtering FS, BE 3 algorithm - 10-Fold X ROC Curve
2011) (DT, 1R, NB) Validation (AUC)
Proposed NASA MDP - PSO, GA Bagging 10 algorithms GA 10-Fold X ROC Curve
Framework 21 Validation (AUC)
A Hybrid Genetic Algorithm based
Neural Network Parameter
Optimization and Bagging
Technique for Software Defect
Prediction (NN GAPO+B)
Every chromosome is evaluated by the
fitness function Equation
1

= + +
Where =1

A: classification accuracy
Pi: parameter value
WA: weight of classification accuracy
Wp: parameter weight
Ci: feature cost
S: setting constant
When ending condition is satisfied, the
operation ends and the optimized NN
parameters are produced. Otherwise,
the process will continue with the next
generation operation
22
 Contoh Proposed Method
Metode yang diusulkan
adalah metode SVM
dengan pemilihan
parameter C, Gamma dan
Epsilon diotomatisasi
menggunakan PSO

23
Syarat Masalah Penelitian -1-
(Research Problem Must Be : )
Menarik (Interesting): Memotivasi kita untuk
melakukan penelitian dengan serius
Bermanfaat (Useful): Manfaat bagi
masyarakat dalam skala besar maupun kecil
(kampus, sekolah, kelurahan, dsb)
Hal Yang Baru (New Things): Solusi baru yang
lebih efektif, murah, cepat, dsb bila
dikomparasi dengan solusi lain. Bisa juga
merupakan perbaikan dari sistem dan
mekanisme kerja yang sudah ada
24
Syarat Masalah Penelitian -2-
(Research Problem Must Be : )
Dapat Diuji (Objective): Masalah penelitian beserta
variabel-variablenya harus merupakan sesuatu
yang bisa diuji dan diukur secara empiris. Untuk
penelitian korelasi, korelasi antara beberapa
variabel yang kita teliti juga harus diuji secara
ilmiah dengan beberapa parameter.
Dapat Dilaksanakan (Realistic): Khususnya
berkaitan erat dengan keahlian, ketersediaan data,
kecukupan waktu dan dana. Hindari research
impossible !

25
Syarat Masalah Penelitian -3-
(Research Problem Must Be : )
Merupakan Masalah Yang Penting (The most
important things: Jangan melakukan penelitian
terhadap suatu masalah yang tidak penting
Tidak Melanggar Etika (Based on the research
etics): Penelitian harus dilakukan dengan
kejujuran metodologi, prosedur harus dijelaskan
kepada obyek penelitian, tidak melanggar
privacy, publikasi harus dengan persetujuan
obyek penelitian, tidak boleh melakukan
penipuan dalam pengambilan data maupun
pengolahan data

26
Evaluasi Metode Yang Diusulkan
(Evaluation of Proposed Method)

Metode yang diusulkan harus divalidasi dan

dievaluasi dengan metode pengukuran standard dan
disepakati para peneliti di bidang penelitian yang kita
lakukan

Pengukuran metode disesuaikan dengan masalah

dan tujuan penelitian:
Masalahnya rendahnya akurasi pengukurannya akurasi
Masalah rendahnya efisiensi pengukurannya waktu

27
Evaluasi pada Penelitian Data Mining
(Research Evaluation Examples)
1. Estimation:
Error: Root Mean Square Error (RMSE), MSE, MAPE, etc
2. Prediction/Forecasting (Prediksi/Peramalan):
Error: Root Mean Square Error (RMSE) , MSE, MAPE, etc
3. Classification:
Confusion Matrix: Accuracy
ROC Curve: Area Under Curve (AUC)
4. Clustering:
Internal Evaluation: DaviesBouldin index, Dunn index,
External Evaluation: Rand measure, F-measure, Jaccard index, FowlkesMallows
index, Confusion matrix
5. Association:
Lift Charts: Lift Ratio
Precision and Recall (F-measure)
28
Exercise/Home Work - 1
Technical Paper:
Title: Chinese Grain Production Forecasting Method
Based on Particle Swarm Optimization-based Support
Vector Machine
Author: Sheng-Wei Fei, Yu-Bin Miao and Cheng-Liang Liu
Publications: Recent Patents on Engineering 2009, 3, 8-12
Download: http://romisatriawahono.net/lecture/rm/paper/

Exercise (HW):
Baca dan pahami paper di atas (Read it carefully)
Cari masalah penelitian yang diangkat paper di atas (Find
the research problem)
Menggunakan format (Use) table Research Problem
Literature Support
29
Exercise/Home Work - 2
Technical Paper:
Judul: Genetic Feature Selection for Software Defect
Prediction
Author: Romi Satria Wahono and Nanna Suryana Herman
Publications: Advanced Science Letters, Vol 20 No 1, 2014
Download: http://romisatriawahono.net/lecture/rm/paper/

Exercise (HW):
Baca dan pahami paper di atas (Read it carefully)
Cari masalah penelitian yang diangkat paper di atas (Find the
research problem)
Menggunakan format (Use) table Research Problem
Literature Support
30
Exercise/Home Work - 3
Technical Paper:
Judul: Particle swarm optimization for parameter
determination and feature selection of support vector
machines
Author: Shih-Wei Lin, Kuo-Ching Ying, Shih-Chieh Chen, and
Zne-Jung Lee
Publications: Expert Systems with Applications 35 (2008) 1817
1824
Download: http://romisatriawahono.net/lecture/rm/paper/

Exercise (HW):
Baca dan pahami paper di atas (Read it carefully)
Cari masalah penelitian yang diangkat paper di atas (Find the
research problem)
Menggunakan format (Use) table Research Problem
Literature Support
31
Exercise/Home Work - 4
Technical Paper:
Judul: Parameter determination and feature selection for
back-propagation network by particle swarm optimization
Author: Shih-Wei Lin, Kuo-Ching Ying, Shih-Chieh Chen,
and Zne-Jung Lee
Publications: Knowl Inf Syst (2009) 21:249266
Download: http://romisatriawahono.net/lecture/rm/paper/

Exercise (HW):
Baca dan pahami paper di atas (Read it carefully)
Cari masalah penelitian yang diangkat paper di atas (Find
the research problem)
Menggunakan format (Use) table Research Problem
Literature Support
32
Exercise/Home Work - 5
Technical Paper:
Judul: Genetic Algorithms With Guided and Local Search
Strategies for University Course Timetabling
Author: Shengxiang Yang and Sadaf Naseem Jat
Publications: IEEE Transactions on Systems, Man and
Cybernetics Vol. 41, No. 1, 2011
Download: http://romisatriawahono.net/lecture/rm/paper/

Exercise (HW):
Baca dan pahami paper di atas (Read it carefully)
Cari masalah penelitian yang diangkat paper di atas (Find
the research problem)
Menggunakan format (Use) table Research Problem
Literature Support
33
HW Deadline : Before 21 March 2017
Send your homework via e-mail :
[email protected]
E-mail Subject : HW2-RM [Your NIM and Name]
Document in Word (Doc/Docx) format

34
References
1. Christian W. Dawson, Project in Computing and Information System
a Student Guide 2nd Edition, Addison-Wesley, 2009
2. Mikael Berndtsson, Jrgen Hansson, Bjrn Olsson, Bjrn Lundell,
Thesis Projects - A Guide for Students in Computer Science and
Information System 2nd Edition, Springer-Verlag London Limited,
2008
3. C.R. Kothari, Research Methodology, New Age International, 2004
4. David E Gray, Doing Research in the Real World Second Edition,
Sage Publications, 2009
5. Mary Shaw, Writing Good Software Engineering Research Papers,
Proceedings of the 25th International Conference on Software
Engineering, 2003
6. Geoffrey Marczyk, David DeMatteo, David Festinger, Essentials of
Research Design and Methodology, John Wiley & Sons, Inc., 2005
7. Slide presentasi Metodologi Penelitian, Romi Satria Wahono, 2016.
35