Pro SQL Server 2005 Integration Services

Prelims......Page 1
Contents at a Glance......Page 7
Contents......Page 9
Foreword......Page 19
About the Author......Page 21
About the Technical Reviewer......Page 23
Acknowledgments......Page 25
Introduction......Page 26
Introducing SQL Server 2005 Integration Services......Page 29
A Little History......Page 30
What Can SSIS Do?......Page 31
I Have Such Delights to Show You......Page 34
An Interview with Donald Farmer......Page 35
Become a Knowledge Broker......Page 38
Summary......Page 40
A Brief SQL Server Architecture Overview......Page 41
SSIS and SQL Server Analysis Services......Page 42
SSIS Architecture Overview......Page 43
The Power of the Data Flow Architecture......Page 49
Data Flow Transformations: Buffer-Usage Strategies......Page 50
Partially or Semiblocking Type......Page 51
Execution Trees Explained......Page 52
Summary......Page 56
What’s New?......Page 57
Preparing to Migrate Legacy DTS Packages......Page 58
Running SQL Server 2005 Upgrade Advisor......Page 59
“SQL Server 2000 Meta Data Services packages are not supported”......Page 61
“SQL Server 2000 DTS Components are required to edit DTS Packages”......Page 62
“SQL Server 2000 Data Transformation Services is deprecated”......Page 63
A Complete List of Possible Upgrade Advisor Messages......Page 64
Using the Package Migration Wizard......Page 67
Summary......Page 71
A First Look at BIDS......Page 73
Projects and Solutions......Page 74
Solution Explorer......Page 75
Creating and Saving a Project......Page 76
Populating a Solution......Page 77
Project Dependencies and Build Order......Page 78
Properties Explorer......Page 79
Compilation, Running, and Debugging......Page 81
References......Page 82
.NET Reference......Page 83
Project-Based Reference......Page 84
Web Reference......Page 85
The GAC......Page 86
Adding and Removing Toolbox Components......Page 88
Class Explorer......Page 89
Project Templates......Page 90
Logging......Page 91
Unknown......Page 0
Package Configurations......Page 94
Variables......Page 96
Package Explorer......Page 97
Execution Results......Page 98
Summary......Page 99
Package Hierarchy......Page 101
Containers......Page 102
Checkpoints......Page 103
Variables......Page 104
Variable Scope......Page 105
Event Handlers......Page 106
Precedence Constraints......Page 110
Flow Between Executables......Page 112
Directing Errors......Page 116
Summary......Page 118
Control Flow......Page 119
Transactions......Page 120
For Loop Container......Page 121
Foreach Loop Container......Page 123
Foreach ADO Enumerator......Page 124
Collection Configuration......Page 125
Usage......Page 126
Foreach ADO.NET Schema Rowset Enumerator......Page 134
Foreach File Enumerator......Page 136
Foreach From Variable Enumerator......Page 137
Foreach Nodelist Enumerator......Page 138
Sequence......Page 140
Analysis Services Execute DDL Task......Page 141
DDL Configuration......Page 142
Analysis Services Processing Task......Page 143
Bulk Insert Task......Page 144
Data Mining Query Task......Page 148
Execute DTS 2000 Package Task......Page 149
Execute Package Task......Page 150
Execute Process Task......Page 151
Execute SQL Task......Page 154
File System Task......Page 156
FTP Task......Page 157
Message Queue Task......Page 158
Script Task......Page 159
Send Mail Task......Page 161
Transfer Error Messages Task......Page 162
Transfer Jobs Task......Page 163
Transfer Master Stored Procedures Task......Page 164
Transfer SQL Server Objects Task......Page 165
Web Service Task......Page 166
XML Task......Page 174
Summary......Page 183
Back Up Database......Page 185
Check Database Integrity......Page 188
Execute SQL Server Agent Job......Page 189
History Cleanup......Page 190
Maintenance Cleanup......Page 192
Notify Operator......Page 193
Rebuild Index......Page 194
Reorganize Index......Page 195
Update Statistics......Page 196
Summary......Page 197
DataReader Source......Page 199
Excel Source......Page 206
Flat File Source......Page 210
OLEDB Source......Page 219
Raw File Source......Page 222
XML Source......Page 223
Summary......Page 226
SSIS Data Types......Page 227
Data Viewers......Page 228
Character Map......Page 232
Conditional Split......Page 233
Copy Column......Page 240
Data Conversion......Page 242
Derived Column......Page 243
Export Column......Page 246
Import Column......Page 248
Lookup......Page 249
Merge......Page 253
Merge Join......Page 260
Multicast......Page 262
OLE DB Command......Page 263
Percentage Sampling......Page 264
Row Count......Page 265
Sort......Page 266
Union All......Page 267
Summary......Page 268
Advanced Data Flow Transformations......Page 269
Aggregate......Page 270
Fuzzy Grouping......Page 273
Fuzzy Lookup......Page 276
Pivot......Page 282
Script Component......Page 286
Slowly Changing Dimension......Page 291
Term Extraction......Page 296
How It Works......Page 300
Term Lookup......Page 301
Unpivot......Page 304
Summary......Page 308
Data Mining Model Training......Page 309
DataReader Destination......Page 311
Dimension Processing......Page 312
Excel Destination......Page 315
Flat File Destination......Page 319
OLE DB Destination......Page 320
Partition Processing......Page 324
Raw File Destination......Page 328
Recordset Destination......Page 330
SQL Server Destination......Page 331
SQL Server Mobile Destination......Page 334
Summary......Page 336
Decisions: The Basics......Page 337
Normalization and Denormalization......Page 338
SQL Server Partitioning......Page 339
Vertical Partitioning......Page 340
Performance Metrics......Page 341
Windows Task Manager......Page 345
Performance/System Monitor (Perfmon)......Page 346
SQL Server Profiler......Page 353
SQL Server Management Studio......Page 357
Platform Tweaks......Page 358
SSIS-Specific Optimizations......Page 359
Component and Component-Query Tweaks......Page 360
A Note on Buffers and Memory Usage......Page 361
Data Flow Parallelization......Page 362
Summary......Page 363
SSIS Security......Page 365
Digitally Signing Packages (Or, Do You Need to Know If a Package Has Been Changed?)......Page 366
Package Encryption (Or, Does a Package or a Part of the Package Need to Be Encrypted?)......Page 368
Package Access (Or, Who Should Access Your Packages?)......Page 371
Leverage NTFS Security......Page 372
Leverage SQL Server Security......Page 376
Jetico BestCrypt......Page 379
Summary......Page 381
Development Environments......Page 383
OOP......Page 384
Classes and Interfaces......Page 385
Inheritance......Page 387
Polymorphism, Encapsulation, and Overloading......Page 389
Design Patterns......Page 390
.NET Concepts......Page 391
Types......Page 392
Classes in the Script Component......Page 393
Preparation......Page 397
Building the Data Flow......Page 399
Data Flow Data Source......Page 400
Script Component......Page 402
Viewing the Results......Page 412
Summary......Page 413
Custom Components......Page 415
Foreach Enumerators......Page 416
What Makes a Custom Component?......Page 417
Class Attributes......Page 418
Custom Control Flow Tasks......Page 420
Design-Time Methods......Page 423
Runtime Methods......Page 425
The Spellcheck Example, Part II......Page 427
The Class Library......Page 428
The Custom Data Flow Transform Component......Page 439
The SSIS Data Flow......Page 473
Data Flow Data Source......Page 474
Data Flow Transformation......Page 477
Viewing the Results......Page 478
Data Flow Component UIs......Page 480
Summary......Page 484
Interview with Donald Farmer......Page 487
CheckpointUsage......Page 491
Description......Page 492
ExecutionDuration......Page 493
Expressions......Page 494
InteractiveMode......Page 495
LogEntryInfos......Page 496
PackagePriorityClass......Page 497
ProtectionLevel......Page 498
SuspendRequired......Page 499
VersionBuild......Page 500
Equals (Inherited from DtsObject)......Page 501
GetPackagePath......Page 502
SuspendExecution (Inherited from DtsContainer)......Page 503
Validate......Page 504
ExecValueVariable......Page 505
IsolationLevel......Page 506
Name......Page 507
Processing Order......Page 508
Duplicate key......Page 509
DataFileType......Page 510
MaximumErrors......Page 511
OutputTableName......Page 512
StandardInputVariable......Page 513
ResultSetType......Page 514
Attributes......Page 515
Connection......Page 516
StopOnOperationFailure......Page 517
ReceiveMessageTimeOut......Page 518
EntryPoint......Page 519
MessageSourceType......Page 520
DestinationOverwrite......Page 521
ErrorMessageList......Page 522
TransferAllJobs......Page 523
DestinationConnection......Page 524
CopyAllTables = false......Page 525
CopyTriggers = false......Page 526
LoginsList......Page 527
UseCollation......Page 528
OutputType......Page 529
OverwriteDestination......Page 530
AfterTimeout......Page 531
DiffAlgorithm......Page 532
DiffOptions......Page 533
OverwriteDestination......Page 534
ValidationType......Page 535
XPathStringSourceType......Page 536
ExtendedLogging......Page 537
TaskConnectionName......Page 538
IDTSResultBindings ResultSetBindings......Page 539
TaskAllowesTableSelection [sic]......Page 540
BackupPhisycalDestinationType [sic]......Page 541
ExpireDate......Page 542
OlderThanTimeUnitType......Page 543
FolderPath......Page 544
ReindexWithOriginalAmount......Page 545
UpdateType......Page 546
DisableEventHandlers......Page 547
CompletionSystem.Bool ForceExecutionValue......Page 548
LoggingMode......Page 549
TransactionOption......Page 550
Index......Page 551