FIT3152 Data analytics - 2025: Assignment 2

Instructions and data

The objective of this assignment is to gain familiarity with classification models using R. We want to create models to predict whether or not a particular type of crop (Oats) is being grown on farmland, based on remote sensing data containing various optical and radar features. You will be using a modified version of the Winnipeg crop mapping data, hosted by the UCI Machine Learning Archive https://archive.ics.uci.edu/dataset/525/crop+mapping+using+fused+optical+radar+data+set

There are two options for compiling your written report:

(1) You can create your report using any word processor with your R code pasted in as machine- readable text as an appendix, and save as a pdf, or

(2) As an R Markdown document that contains the R code with the discussion/text interleaved. Render this as an HTML file and save as a pdf.

Your video report should be less than 100MB in size. You may need to reduce the resolution of your original recording to achieve this. Use a standard file format such as .mp4, or mov for submission.

Creating your data set

Clear your workspace, set the number of significant digits to a sensible value. Download “WinnData.csv” and create your individual data using the following code:

rm(list = ls())

set.seed(XXXXXXXX) # Your Student ID is the random seed

WD = read.csv("WinnData.csv")

WD = WD[sample(nrow(WD), 5000, replace = FALSE),]

WD = WD[,c(sort(sample(1:30,20, replace = FALSE)), 31)]

Questions (9 Marks)

1.             Explore the data: What is the proportion of “Oats” (class = 1), to “Other” (class = 0) crops? Obtain descriptions of the predictor (independent) variables – mean, standard deviations, etc. for real-valued attributes. Is there anything noteworthy in the data? Are there any attributes you need to consider omitting from your analysis? (1 Mark)

2.             Document any pre-processing required to make the data set suitable for the model fitting that follows.

3.             Divide your data into a 70% training and 30% test set by adapting the following code (written for the iris data). Use your student ID as the random seed.

set.seed(XXXXXXXX) #Student ID as random seed

train.row = sample(1:nrow(iris), 0.7*nrow(iris))

iris.train = iris[train.row,]

iris.test = iris[-train.row,]

4.            Implement a classification model using each of the following techniques. For this question

you may use each of the R functions at their default settings if suitable. (5 Marks)

•              Decision Tree

•             Naïve Bayes

•             Bagging

•             Boosting

•             Random Forest

5.             Using the test data, classify each of the test cases as “Oats” (class = 1), or “Other” (class = 0). Create a confusion matrix and report the precision, recall, accuracy and F1-score of each model. (1 Mark)

6.             Using the test data, calculate the confidence of predicting “Oats” for each case and construct an ROC curve for each classifier. You should be able to plot all the curves on the same axis. Use a different colour for each classifier. Calculate the AUC for each classifier.   (1 Mark)

7.            Create a table comparing the results in Questions 5 and 6 for all classifiers. Is there a single “best” classifier? Explain your reasoning. (1 Mark)

Investigative Tasks (20 Marks)

8.             Examining each of the models, determine the most important attributes in predicting

“Oats” (class = 1), or “Other” (class = 0) . Which attributes could be omitted from the data with very little effect on performance? Give reasons. (2 Marks)

9.             Looking at relative strengths and weaknesses of each model, and consulting relevant

references, can you explain why there is a difference in performance between the models? That is, why do some of these models perform better than others on the type of data to be fitted?  (2 Marks)

10.          Starting with one of the classifiers you created in Question 4, create a classifier that is

simple enough for a person to be able to classify “Oats” (class = 1), or “Other” (class = 0)   by hand. Describe your model with either a diagram or written explanation. What factors were important in your decision? State why you chose the attributes you used. Using the test data created in Question 3, evaluate model performance using the measures you calculated for Questions 5 and 6. How does it compare to those in Question 4? (4 Marks)

11.          Create the best tree-based classifier you can. You may do this by adjusting the

parameters, and/or cross-validation of the basic models in Question 4. Show that your model is better than the others using the measures you calculated for Questions 5 and 6. Describe how you created your improved model, and why you chose that model. What factors were important in your decision? State why you chose the attributes you used. (4 Marks)

12.          Using the insights from your analysis so far, implement an Artificial Neural Network

classifier that is as good or better than those in Question 4. Describe on attributes used and data pre-processing for implementation. How does this classifier compare with the others? Can you give any reasons? (4 Marks)

13.          Fit a new classifier to the data, test and report its performance in the same way as for

previous models. You can choose a new type of classifier not covered in the course, or a  new version of any of the classifiers we have studied. As a starting point, you might refer to James et al. (2021) or look online. When writing up, state the new classifier and package used. Include a web link to the package details. Give a brief description of how your model works. Comment on the performance of your new model. (4 Marks)

Report and Video Presentation (6 Marks)

Write a brief report (suggested length 8 – 10 pages) summarizing your results. Include your R script, copied and pasted as machine readable text, as an appendix. Use commenting in your R script, where appropriate, to help a reader understand your code. Alternatively combine working, comments and reporting in R Markdown. (2 Marks)

Record a short presentation using your smart phone, Zoom, or similar method. Your presentation should be approximately 5 minutes in length and summarise your main findings, as well as describing how you conducted your research, and any assumptions made. Pay particular emphasis to your results for the investigative tasks. (Submission Hurdle and 4 Marks)

Software

It is expected that you will use R for your data analysis and graphics and tables. You are free to use any R packages you need but please document these in your report and include in your R code.

Description of the data

References

An Introduction to Statistical Learning with applications in R, 2nd Ed, 2021. (Springer Texts in Statistics), James, Witten, Hastie and Tibshirani. (Available on-line from the Monash Library.)