Ssis

C’è una nuova origine dati nell’ultima versione di SSDT disponibile qui .

In questa versione è stato introdotto il componente di Power Query per SQL Server Integration Services. Non esiste un’interfaccia utente per la generazione di query, infatti al momento è possibile incollare solo una query M o utilizzare una query M memorizzata in una variabile SSIS.

Non è problema avere una interfaccia utente all’interno dei SSIS perchè si può generare una query in Power Query di Excel o in Power BI Desktop e tagliare e incollare da lì il codice M. E’ disponibile la documentazione sul suo utilizzo in questo blog

L’anno scorso ho pubblicato su GitHub un progetto dedicato alla creazione di una Dashboard per SQL Server Integration Services (dalla versione 2012 in avanti). L’idea è quella di utilizzare tutti i dati che sono disponibili nel database SSISDB e renderli fruibili in modo più

• bello
• user friendly
• utile
• web
• mobile

La dashboard permette di vedere lo stato di esecuzione dei Package SSIS, monitorare alcuni indicatori fondamentali (ad esempio se i package stanno avendo problemi di memoria oppure i lookup hanno trovato dei dati duplicati nei propri dataset), oltre che di vedere l’andamento delle performance nel tempo (e di fare una semplicissima previsione sul futuro, per ora calcolata tramite una banale media mobile). E’ inoltre possibile vedere il dettaglio di esecuzione del package e di ogni suo task, e, chiaramente, verificare se ci sono stati errori o warning.

Per le novitá di SQL Server Integration Services 2016 introdde di volta in volta con il rilascio delle CTP, la pagina da tenere d’occhio é questa What’s New in Integration Services.

Giá ora con la CTP 2.3 sono diverse ed interessanti le nuove features disponibili:

• Support for AlwaysOn
• Incremental package deployment
• Improved experience for project upgrade
• Support for OData v4 data sources
• Column names for errors in the data flow
• New RuntimeLineage logging level in the SSIS catalog
• New custom logging level in the SSIS catalog
• New ssis_logreader database-level role in the SSIS catalog
• SSIS projects available in SQL Server Data Tools (SSDT)

Trovo personalmente molto interessante l’Incremental package deployment, ovvero la possibilitá di fare deployment di solo alcuni package e non piú dell’intero progetto: di sicuro renderá la vita piú facile a tutti coloro che sviluppano in team sullo stesso progetto SSIS. Anche il Supporto di AlwaysOn é decisamente un gran bella feature.

Su GitHub si trova un interessantissimo plugin per SSIS che permette di avere come destinazione un dataset di PowerBI. Inutile dire come questa possibilità possa aprire innumerevoli soluzioni, anche per la creazione di Dashboard aggiornabili in real-time in modo veramente molto molto semplice.

Il codice è qui:

https://github.com/nicksav/SSISAdapterForPowerBI

e l’articolo che ne descrive l’idea di fondo è qui:

SSIS Adapter for Power BI REST Api

E’ stato rilasciato il “Microsoft SQL Server Integration Services Feature Pack for Azure” per SQL Server 2012 e 2014. Di seguito i link:

SSIS Feature Pack for Azure (SQL2012) http://www.microsoft.com/en-us/download/details.aspx?id=47367

SSIS Feature Pack for Azure (SQL2014) http://www.microsoft.com/en-us/download/details.aspx?id=47366

questo feature pack facilita l’utilizzo di Azure Blob Store ed Azure HDInsight da Integration Services

Sul canale SQLPASS TV è stata pubblicata la sessione Automate Your ETL Infrastructure with SSIS and PowerShell tenuta da Allen White (@SQLRunr) durante lo scorso PASS Summit 2013.

Abstract

Much of your ETL process flow consists of packages that are very similar in structure, capturing data from a single source and transferring that to a single destination. Creating the individual packages can be tedious, and it’s easy to miss something in the process of generating the same basic package over and over again. BI Markup Language makes it easy to build new packages, and PowerShell makes creating the BIML scripts easy. In this session, we’ll see how you can use PowerShell to generate dozens of SSIS packages doing similar tasks from a defined set of ETL sources.

Sul canale SQLPASS TV, continua la pubblicazione delle sessioni erogate al PASS Summit 2011. Questa settimana è stata pubblicata la sessione Top 10 Things You Didn’t Know About SSIS in SQL Server 2012 tenuta da Matt Masson (SQL Server Integration Services Team).

Abstract

By now you all know about the major SSIS improvements in SQL Server code name “Denali” - the enhanced Developer Experience, the Project & Parameter model, and the new Server based deployment features. This session will cover many of the other major improvements to the product that are sure to bring a smile to your face. With hundreds of customer reported Connect issues fixed, the upcoming release will be the highest quality release to date. Come find out more!

Jason Strate (blog | twitter) in questa serie di posts ci porta nel mondo di SSIS, con esempi pratici e suggerimenti per sfuttarlo al meglio.

1. 31 Days of SSIS - Raw Files Are Awesome (1/31)
2. 31 Days of SSIS - Using Breakpoints (2/31)
3. 31 Days of SSIS - Data Flow Breakpoints?! (3/31)
4. 31 Days of SSIS - Folder Structures (4/31)
5. 31 Days of SSIS - One Variable to Rule Them All (5/31)
6. 31 Days of SSIS - Recursive SSIS Package (6/31)
7. 31 Days of SSIS - What The Sorts?! (7/31)
8. 31 Days of SSIS - Merge Join Is My Friend (8/31)
9. 31 Days of SSIS - Override Variables (9/31)
10. 31 Days of SSIS - Pivot Transformation (10/31)
11. 31 Days of SSIS - UnPivot Transformation (11/31)
12. 31 Days of SSIS - UnPivot Alternative (12/31)
13. 31 Days of SSIS - Create XML Document (13/31)
14. 31 Days of SSIS - Instant Excel Spreadsheet (14/31)
15. 31 Days of SSIS - Every Which Way Outputs (15/31)
16. 31 Days of SSIS - 10 Things About Expressions (16/31)
17. 31 Days of SSIS - Environmental Variable(17/31)
18. 31 Days of SSIS - SQL Server Configuration (18/31)
19. 31 Days of SSIS - DTSConfig Configuration (19/31)
20. 31 Days of SSIS - No More Procedures (20/31)
21. 31 Days of SSIS - Controlling Your Flow In The Control Flow (21/31)
22. 31 Days of SSIS - Data Flow Expressions (22/31)
23. 31 Days of SSIS - Generating Row Numbers (23/31)
24. 31 Days of SSIS - One Package, Unlimited Databases (24/31)
25. 31 Days of SSIS - One Package, Unlimited Tables (25/31)
26. 31 Days of SSIS - Small Package, Big Win (26/31)
27. 31 Days of SSIS - Adding Some Delta Force (27/31)
28. 31 Days of SSIS - Jim Croce and the Foreach (File) Loop Container (28/31)
29. 31 Days of SSIS - Exporting Execution Plans (29/31)
30. 31 Days of SSIS - Importing Execution Plans (30/31)
31. 31 Days of SSIS - SSIS Naming Conventions (31/31)