Sams Teach Yourself Spark in 24 Hours

About This E-Book......Page 2
Title Page......Page 3
Copyright Page......Page 4
Contents at a Glance......Page 6
Table of Contents......Page 8
Why Should I Learn Spark?......Page 16
Conventions Used in This Book......Page 17
About the Author......Page 19
Dedication......Page 20
Acknowledgments......Page 21
We Want to Hear from You......Page 22
Reader Services......Page 23
Part I: Getting Started with Apache Spark......Page 24
What Is Spark?......Page 25
Spark Is Fast, Efficient, and Scalable......Page 26
Programming Interfaces to Spark......Page 27
Ways to Use Spark......Page 29
Interactive Use......Page 30
Summary......Page 31
Quiz......Page 32
Answers......Page 33
Hadoop and a Brief History of Big Data......Page 34
Hadoop Explained......Page 35
HDFS Overview......Page 36
HDFS Architecture......Page 37
What Is YARN?......Page 43
Running an Application on YARN......Page 44
Anatomy of a Hadoop Cluster......Page 46
HDFS as a Data Source for Spark......Page 47
Summary......Page 48
Quiz......Page 49
Answers......Page 50
Spark Deployment Modes......Page 51
Getting Spark......Page 52
Installing a Multi-node Spark Standalone Cluster......Page 61
Exploring the Spark Install......Page 63
Deploying Spark on Hadoop......Page 64
Installing Manually......Page 65
Q&A......Page 68
Answers......Page 69
Exercises......Page 70
Anatomy of a Spark Application......Page 71
The Spark Context......Page 72
Application Scheduling......Page 73
Spark Executors and Workers......Page 74
Spark Master and Cluster Manager......Page 75
Spark Master......Page 76
ResourceManager as the Cluster Manager......Page 77
ApplicationsMaster as the Spark Master......Page 78
yarn-cluster Mode......Page 79
yarn-client Mode......Page 80
Local Mode......Page 82
Summary......Page 84
Quiz......Page 85
Answers......Page 86
Elastic Compute Cloud (EC2)......Page 87
AWS Pricing and Getting Started......Page 89
Spark on EC2......Page 90
Spark on EMR......Page 100
Hosted Spark with Databricks......Page 110
Summary......Page 119
Quiz......Page 120
Answers......Page 121
Part II: Programming with Apache Spark......Page 122
Introduction to RDDs......Page 123
Creating an RDD from a File or Files......Page 125
Creating an RDD from a Datasource......Page 133
Creating an RDD Programatically......Page 139
Operations on RDDs......Page 140
Transformations, Actions, and Lazy Evaluation......Page 141
RDD Persistence and Re-use......Page 142
RDD Lineage......Page 143
Fault Tolerance with RDDs......Page 145
Types of RDDs......Page 146
Summary......Page 147
Quiz......Page 148
Answers......Page 149
The Motivation for MapReduce......Page 150
Records and Key Value Pairs......Page 152
Key Value Pairs and Records......Page 153
MapReduce Explained......Page 154
Map Phase......Page 155
Partitioning Function......Page 156
Reduce Phase......Page 157
Combiner Functions......Page 158
Asymmetry and Speculative Execution......Page 159
Map-only MapReduce Applications......Page 160
An Election Analogy for MapReduce......Page 161
Why Count Words?......Page 162
How It Works......Page 163
Map and Reduce Functions in Spark......Page 165
Summary......Page 171
Quiz......Page 172
Answers......Page 173
Scala Beginnings......Page 174
Scala’s Compile Time and Run Time Architecture......Page 175
Variables and Primitives in Scala......Page 179
Data Structures in Scala......Page 181
Control Structures in Scala......Page 186
Classes and Inheritance......Page 191
Mixin Composition......Page 192
Singleton Objects......Page 193
Polymorphism......Page 194
Anonymous Functions......Page 195
Closures......Page 196
Lazy Evaluation......Page 197
Spark Programming in Scala......Page 198
Summary......Page 200
Workshop......Page 201
Answers......Page 202
Python Background......Page 203
Python Runtime Architecture......Page 204
Lists......Page 208
Tuples......Page 209
Dictionaries......Page 211
Python Object Serialization......Page 213
Anonymous Functions and lambda......Page 217
Higher-order Functions......Page 218
Short-circuiting......Page 219
Closures in Python......Page 220
IPython History and Background......Page 221
Using IPython with Spark......Page 223
Jupyter, the IPython Notebook......Page 226
Summary......Page 233
Quiz......Page 234
Answers......Page 235
RDD Refresher......Page 236
Data Sampling with Spark......Page 237
Functional Transformations......Page 238
Grouping, Sorting, and Distinct Functions......Page 241
Set Operations......Page 244
The collect, take, top, and first Actions......Page 246
The reduce and fold Actions......Page 248
The foreach Action......Page 250
Key Value Pair RDD Dictionary Functions......Page 251
Functional Key Value Pair RDD Transformations......Page 252
Grouping, Aggregation, Sorting, and Set Operations......Page 255
Join Transformations......Page 260
mean()......Page 272
variance()......Page 273
Summary......Page 274
Q&A......Page 275
Answers......Page 276
RDD Lineage Revisited......Page 277
RDD Storage Levels......Page 279
Caching RDDs......Page 281
Persisting RDDs......Page 282
Checkpointing RDDs......Page 285
Saving RDD Output......Page 289
Storage Formats......Page 290
Alluxio Architecture......Page 297
Alluxio as a Filesystem......Page 298
Alluxio for Off Heap RDD Persistence......Page 299
Summary......Page 300
Quiz......Page 301
Answers......Page 302
Broadcast Variables......Page 303
Broadcast Variable Creation and Usage......Page 304
Advantages of Broadcast Variables......Page 307
Accumulators......Page 309
Using Accumulators......Page 310
Custom Accumulators......Page 311
Uses for Accumulators......Page 312
Partitioning Overview......Page 315
Controlling Partitions......Page 316
Repartitioning Functions......Page 318
Partition-specific API Methods......Page 321
pipe()......Page 323
Summary......Page 324
Q&A......Page 325
Answers......Page 326
Part III: Extensions to Spark......Page 327
Background......Page 328
Hive Overview......Page 329
SQL on Hadoop......Page 334
Spark SQL Architecture......Page 335
HiveContext and SQLContext......Page 337
Creating a DataFrame from an Existing RDD......Page 339
Creating a DataFrame from a Hive Table......Page 340
Creating a DataFrame from JSON Objects......Page 341
Creating DataFrames from Files Using the DataFrameReader......Page 343
Converting DataFrames to RDDs......Page 346
DataFrame Schemas......Page 347
DataFrame Metadata Operations......Page 350
Basic DataFrame Operations......Page 351
DataFrame Built-in Functions and UDFs......Page 356
DataFrame Set Operations......Page 357
Caching, Persisting, and Repartitioning DataFrames......Page 360
Saving DataFrame Output Using the DataFrameWriter......Page 361
Accessing Spark SQL......Page 362
Running the Thrift JDBC/ODBC server......Page 363
Q&A......Page 367
Quiz......Page 368
Answers......Page 369
Streaming, Spark Style......Page 370
Spark Streaming Architecture......Page 371
The StreamingContext......Page 372
Using DStreams......Page 373
DStream Sources......Page 374
DStream Transformations......Page 376
DStream Output Operations......Page 379
updateStateByKey()......Page 383
Sliding Window Operations......Page 384
window()......Page 385
reduceByKeyAndWindow()......Page 386
Summary......Page 387
Quiz......Page 388
Answers......Page 389
Introduction to R......Page 390
Getting Started with the R Language......Page 391
The SparkR Shell......Page 397
Creating Data Frames in SparkR......Page 399
Building Predictive Models with SparkR......Page 402
Using SparkR with RStudio......Page 406
Summary......Page 408
Quiz......Page 409
Answers......Page 410
Machine Learning Primer......Page 411
Classification Using Spark MLlib......Page 415
Decision Trees......Page 416
Naive Bayes......Page 420
Collaborative Filtering Using Spark MLlib......Page 421
k-means Clustering......Page 424
Summary......Page 426
Q&A......Page 427
Answers......Page 428
H2O Deep Learning......Page 429
H2O Flow......Page 430
H2O Architecture......Page 431
Running H2O on Hadoop......Page 432
Sparkling Water—H2O on Spark......Page 435
Sparkling Water Architecture......Page 436
Summary......Page 445
Q&A......Page 446
Answers......Page 447
Introduction to Graphs......Page 448
Google, Pregel, and PageRank......Page 451
GraphX: Spark’s Graph Processing System......Page 452
Accessing the GraphFrames Library......Page 455
Creating a GraphFrame......Page 456
GraphFrame Operations......Page 457
Using Graphing Algorithms with GraphFrames......Page 460
Summary......Page 462
Q&A......Page 463
Answers......Page 464
Bigtable: The Beginnings of the NoSQL Movement......Page 466
NoSQL System Characteristics......Page 467
Types of NoSQL Systems......Page 468
HBase Data Model and Shell......Page 469
Data Distribution in HBase......Page 471
HBase and Spark......Page 472
Cassandra Data Model......Page 475
Cassandra Query Language (CQL)......Page 476
Accessing Cassandra Using Spark......Page 477
Using Spark with DynamoDB and More......Page 478
Amazon DynamoDB......Page 479
Summary......Page 480
Quiz......Page 481
Answers......Page 482
Overview of Messaging Systems......Page 483
Pub-Sub Messaging Exchange Pattern......Page 484
Kafka Overview......Page 485
Spark and Kafka......Page 487
Spark, MQTT, and the Internet of Things......Page 494
MQTT Overview......Page 495
Using Spark with MQTT......Page 496
Using Spark with Amazon Kinesis......Page 497
Kinesis Streams......Page 498
Using Spark with Kinesis......Page 500
Summary......Page 502
Q&A......Page 503
Answers......Page 504
Part IV: Managing Spark......Page 505
Spark Environment Variables......Page 506
Spark Configuration......Page 511
Administering Spark Standalone......Page 515
Spark Standalone Revisited......Page 516
Deploying Spark Standalone Clusters......Page 517
Scheduling with Spark Standalone......Page 525
Spark on YARN Revisited......Page 527
Deploying Spark on YARN......Page 528
Managing Spark Applications Running on YARN......Page 529
YARN Scheduling......Page 531
Summary......Page 532
Q&A......Page 533
Answers......Page 534
Exploring the Spark Application UI......Page 535
Jobs......Page 536
Stages......Page 538
Storage......Page 540
Environment......Page 541
Executors......Page 542
Spark History Server......Page 543
Exploring the Spark History Server UI......Page 544
Spark History Server API Access......Page 545
Spark Metrics......Page 546
Logging in Spark......Page 548
Log4j......Page 549
Q&A......Page 555
Quiz......Page 556
Answers......Page 557
Isolating Spark......Page 558
Perimeter Security......Page 559
Authentication and Authorization......Page 560
Spark Authentication Using a Shared Secret......Page 561
Encrypting Spark Communication......Page 563
Securing the Spark Web UI......Page 568
Kerberos Overview......Page 570
Kerberos with Hadoop......Page 572
Kerberos Configuration with Spark......Page 573
Q&A......Page 574
Quiz......Page 575
Answers......Page 576
Benchmarks......Page 577
Performance Monitoring Solutions......Page 583
Application Development Optimizations......Page 584
System, Configuration, or Job Submission Optimizations......Page 589
Inefficient Partitioning......Page 592
Using the Application UI to Diagnose Performance Issues......Page 594
Summary......Page 597
Q&A......Page 598
Answers......Page 599
Index......Page 600
Code Snippets......Page 689