Version: 2015-06-23
80% complete
https://leanpub.com/exdata
This book covers some of the basics of visualizing data in R and summarizing highdimensional data with statistical multivariate analysis techniques. There is less of an emphasis on formal statistical inference methods, as inference is typically not the focus of EDA. Rather, the goal is to show the data, summarize the evidence and identify
interesting patterns while eliminating ideas that likely won’t pan out.
Throughout the book, we will focus on the R statistical programming language. We
will cover the various plotting systems in R and how to use them effectively. We will
also discuss how to implement dimension reduction techniques like clustering and the
singular value decomposition. All of these techniques will help you to visualize your data
and to help you make key decisions in any data analysis.
Author(s): Roger D Peng
Publisher: Leanpub
Year: 2015
Language: English
Pages: 125
Tags: Библиотека;Компьютерная литература;R;
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Getting Started with R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Getting started with the R interface . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Managing Data Frames with the dplyr package . . . . . . . . . . . . . . . . . . . . . 4
Data Frames . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
The dplyr Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
dplyr Grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Installing the dplyr package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
select() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
filter() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
arrange() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
rename() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
mutate() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
group_by() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
%>% . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Exploratory Data Analysis Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Formulate your question . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Read in your data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Check the packaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Run str() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Look at the top and the bottom of your data . . . . . . . . . . . . . . . . . . . . . . 21
Check your “n”s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Validate with at least one external data source . . . . . . . . . . . . . . . . . . . . . 25
Try the easy solution first . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Challenge your solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Follow up questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Principles of Analytic Graphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Show comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Show causality, mechanism, explanation, systematic structure . . . . . . . . . . . 35
Show multivariate data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Integrate evidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Describe and document the evidence . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Content, Content, Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Exploratory Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Characteristics of exploratory graphs . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Air Pollution in the United States . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Getting the Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Simple Summaries: One Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Five Number Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Boxplot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Overlaying Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Barplot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Simple Summaries: Two Dimensions and Beyond . . . . . . . . . . . . . . . . . . . 52
Multiple Boxplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Multiple Histograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Scatterplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Scatterplot - Using Color . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Multiple Scatterplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Plotting Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
The Base Plotting System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
The Lattice System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
The ggplot2 System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Graphics Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
The Process of Making a Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
How Does a Plot Get Created? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Graphics File Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Multiple Open Graphics Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Copying Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
The Base Plotting System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Base Graphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Simple Base Graphics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Some Important Base Graphics Parameters . . . . . . . . . . . . . . . . . . . . . . 73
Base Plotting Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Base Plot with Regression Line . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
Multiple Base Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
The ggplot2 Plotting System: Part 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
The Basics: qplot() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Before You Start: Label Your Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
ggplot2 “Hello, world!” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Modifying aesthetics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Adding a geom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Histograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Facets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Case Study: MAACS Cohort . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Summary of qplot() . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
The ggplot2 Plotting System: Part 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Basic Components of a ggplot2 Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Example: BMI, PM$$_{2.5}$$, Asthma . . . . . . . . . . . . . . . . . . . . . . . . . 98
Building Up in Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
First Plot with Point Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Adding More Layers: Smooth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
Adding More Layers: Facets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Modifying Geom Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Modifying Labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Customizing the Smooth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Changing the Theme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
More Complex Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
A Quick Aside about Axis Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Data Analysis Case Study: Changes in Fine Particle Air Pollution in the U.S. . . 110
Synopsis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Loading and Processing the Raw Data . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
