The TestOps Manifesto A Blueprint for Connected, Agile Design and Test

頁數 1如需聯絡我們，請上網查詢 www.keysight.com 白皮書TestOps 宣言互連和敏捷設計與測試的藍圖在 2001 年，17 名軟體工程師聚集在美國猶他州的雪鳥渡假村。那一天，他們共同起草了敏捷軟體開發宣言，並從此顛覆軟體的開發方式。二十年後，電子設計和測試正在經歷類似的轉變。這帶來的好處很深遠。採用 DevOps 工作流程的企業證實，工程師的生產效率獲得 29% 的提升。TestOps 是 DevOps 針對設計與測試方面的應用，自然保有同樣的優點。 互連和敏捷設計與測試互連和敏捷設計與測試，是電子系統開發方法的轉型。它結合了新軟體、新的工作流程和強大的自動化工具，藉此改變傳統開發流程，大幅提高生產率和設備利用率。此方法將從各公司彼此孤立的設計和測試步驟，轉變成敏捷且相互連結的工作流程。這正反映了敏捷軟體設計和 DevOps 的優點：加速裝置設計，將設計參數轉變為測試要求，迅速執行測試並獲取結果與進行驗證。與自動化相結合後，全新的開發文化 TestOps 於焉誕生。在本 TestOps 宣言中，我們會介紹 TestOps 的願景，探討如何改進設計和測試工作流程，並歸納出互連和敏捷設計與測試的五個重要原則。掌握這些資訊，是有效實現這個全新方法的潛力和優勢的首要關鍵。 頁數 2如需聯絡我們，請上網查詢 www.keysight.com 在本 TestOps 宣言中，我們會介紹 TestOps 的願景，探討如何改進設計和測試工作流程，並歸納出互連和敏捷設計與測試的五個重要原則。掌握這些資訊，是有效實現這個全新方法的潛力和優勢的首要關鍵。TestOps 願景：相互連結的工作流程電子設計在過去的 30 年出現數次的飛躍式進展。第一代電子設計自動化（EDA）軟體，與手動電路模擬和單晶電路設計基元（primitive）相結合。如今它已被多層設計軟體、虛擬原型設計和模擬，及可複用的模組化電路元件所取代。這類似於敏捷軟體設計方法所實現的技術改進。但是，有別於現代軟體工作流程，現代硬體的建構、測試和部署階段，絕大部分是和設計階段分開進行。事實上，許多工程師認為設計和測試之間的脫節，是影響專案延遲和產品交期的最大因素。 這些延誤最常見的原因，是由於孤立的工具集和工作流程所致。後期設計階段通常是在不同的實驗室進行，彼此之間跨越好幾個時區。這些工具是互相獨立的，只能靠手動流程、實驗室筆記、Excel 工作表和人工中介軟體（human middleware）來建立連結。因而也容易發生人為失誤。尋找更好的方式顯然地，工程師必須找尋更為理想的現代電子系統開發流程。 幸好，TestOps 提供了解決方案。有鑑於此，敏捷宣言提出的第一項重要原則是，「我們的首要任務，是透過早期與持續交付有價值的軟體來滿足客戶要求。」TestOps 宣言的第一個原則也類似於此：「我們的首要任務是透過敏捷和最佳化的設計與測試方法，盡快提供高品質的產品。」需要說明的是，TestOps 並不是一項新技術，而是一種新的工作方式。它需要全新並持續更新的軟體、新的工作流程及將這些工作流程自動化的適當工具，同時支援即時的數位資訊交換。這些工具是實現互連和自動化流程的基礎，可促進各產品開發階段的資料交換，最終達成高速有效的敏捷軟體開發。 頁數 3如需聯絡我們，請上網查詢 www.keysight.com TestOps：用於設計和測試的自動化 DevOps敏捷宣言的第二項原則是：「非常歡迎不斷變化的要求，即便是在開發階段的後期。敏捷流程利用變化來保持客戶的競爭優勢。」TestOps 宣言的第二個原則也很類似：「採用敏捷開發方法，縮短產品上市時間，達成整個研發生命週期中的競爭優勢。」熟悉 EDA 軟體歷史和發展的人，非常了解電路設計工具所提供的功能，對於敏捷硬體設計的重要性。現在，我們已能將原始設計完整連結到設計與測試的後期階段，並從原型設計連結到製造生產。敏捷軟體開發的概念在 2001 年就被提出，但一直到 2009 年 DevOps 才正式問世。兩名 Flickr 員工 John Allspaw 和 Paul Hammond 提出 DevOps 的想法。透過這個環境，將敏捷軟體開發和維運，導入無縫、透明、完全整合的工作流程之中。TestOps 宣言進一步提出，將眾所周知的 DevOps 策略延伸到工程設計和測試工作流程。要實現 TestOps 環境，便必須改變開發流程、工具和文化。利用適當的工具和流程，可在三個關鍵領域獲得長足進步：• 縮短工程開發時間：減少建立和校驗開發與生產測試指令程式所花費的時間。• 增進設備利用率：加快配置修改速度，增加測試指令程式的可複用性，並透過測試序列資料分析結果進行程式改進，藉此提高設備利用率。• 增進量測速率：透過高速資料擷取、資料處理和邊限分析來提高量測速率。測試合作 頁數 4如需聯絡我們，請上網查詢 www.keysight.com 互連和敏捷設計與測試的原則實現互連和敏捷設計與測試，有五項重要的原則。這些包括：1. 通用資料交換和資料管理TestOps 工作流程的基礎，是一種在工作流程中和不同工具和人員之間擷取並交換資料的方法。內容可能包含模擬波形檔、測試指令程式和參數、配置資訊、目標設計性能參數等，當然還有測試結果，以及通過/不通過條件的邊限和臨界值分析。工作流程工具需能夠開放並讀取這些工具，以使測試設備和終端使用者之間產生有意義的交互作用。理想情況下，這些工具還可將傳統的類比人類行為（例如手動轉移筆記）轉換成該操作員的數位工作流程。這包括指令程式修訂註釋、測試演算法或測試過程假設等細節，以及與測試方法和操作相關的觀察細節資訊。有效的資料交換，對於縮短設計週期也至為關鍵。在 TestOps 的工作流程中，具備以軟體執行本地交換和建立資料關聯性的能力，將可使整體設計時間大幅縮短。 2. 開放 API 和開源自動化工具通用資料交換和資料管理從一組應用軟體程控介面（API）開始，這些介面支援多個軟體元件（包括供應商提供和自家軟體）之間的資料交換。用於資料交換的開放式、可延伸格式（例如 XML 或 JSON）可在測試和工具出現時執行快速自調適。透過開源的方式，可提供快速原型設計和最佳化的機會，同時也能利用生態系統中各個產業合作夥伴所提供的最佳元件。公司可藉由採用基於標準的開放式測試和量測程式庫來改造自家的傳統測試套件。藉此，他們可獲得頂尖的量測科學，世界級的測試程式庫，和可擴展的雲端軟體架構。 3. 頂尖的量測科學每部電子裝置都必須通過若干相符性和電磁干擾（EMI）測試。大多數裝置都需通過更嚴格的標準相符性測試，來保證其互通性。從記憶體和處理器匯流排，到無線通訊和汽車網路，幾乎每個裝置都必須通過一個或多個產業標準規範的相符性測試。產業標準會持續不斷地演進和發展。為了提供頂尖的量測科學，測試環境需能支援並實施最新標準。此環境應能在適當的測試硬體上根據是德科技最近的一項調查1顯示，10 間公司中有 9 家透露手動建立資料關聯性需花費數個月不等的時間。今天，企業每週平均花 2 小時以上開發編碼解決方案，以確保測試流程的穩定運作和資料流。1 若使用開放和可複用的元件，這些時間便能用來執行測試效率最佳化。 頁數 5如需聯絡我們，請上網查詢 www.keysight.com 無縫部署這些測試套件。同樣重要的是，測試結果應在儲存時記錄其根據的是哪個特定版本的標準。這可確保測試的準確性，特別是在產業標準尚未完成，還在快速變化，又需要搶先入市的早期階段。透過在設計、模擬和測試階段各步驟重複使用相同的最佳化演算法，可減少建立資料關聯所需的時間，並進一步縮減將手動確認移動到自動化工作流程中的時間。了解用於建立測試波形和模擬的演算法，有助於與真實世界的量測結果自動產生關聯性。只有在測試和量測平台共享共同的量測科學時，才能實現這種程度的整合。 透過這樣的整合平台，建立更高效的工作流程，並將正確的工具結合在一起。在設計、模擬和驗證階段之間保持一致、準確且整合的量測科學對於加速產品設計至關重要。4. 可擴展的隨處運行架構隨著設計複雜性的提升，設計週期中的各階段所需的時間也會增加。要建立出第一個原型，需花數百甚至數千個小時的模擬，才能進入產品設計階段。隨著製造商將更多技術整合到每個裝置中，需要的協定相符性和共存性測試案例變得更多，因此用於原型驗證的測試矩陣變得更大。例如，今日的 5G 無線行動裝置，比過去十年來開發的 4G 裝置需多上 20 倍的測試。但測試量不是唯一的挑戰。在測試期間要對所擷取的資料量進行處理，也會減慢設計與測試週期。在傳統的設計和測試環境中，資料擷取和處理都是在測試設備上進行。現代設計和測試系統會產生龐大的資料量，在本地處理不再是最有效率的選擇。將資料擷取平面與資料處理平面分離，使得利用雲端規模資源處理資料變成可能。 採用雲端規模處理，需要可隨處運行的軟體架構。這代表軟體引擎必須能夠在桌上型電腦、嵌入式儀器、企業伺服器或公有或私有雲端服務的雲端規模上進行部署。可擴展的隨處運行架構使企業能夠在最適合其設計和測試要求的環境中進行部署。 5. 整合分析和可視化持續的性能監控和分析，可幫助工程師快速找出問題並加以解決。典型的測試和量測團隊，需讓多達 200 台設備同時運作。隨著裝置變得更為複雜，測試矩陣的規模也不斷增加，要儲存、管理和關聯這麼多大型資料集，即便是頂尖的工程師也容易感到挫折無力，造成專案進度延遲。根據是德科技的研究調查顯示，1 91% 的企業使用到 3 種以上不同的設計工具，而且幾乎都沒有整合到工作流程中。93% 的設計和測試工程師認為，整合的設計和測試套件可以加快產品上市速度。 接受是德科技調查的工程師，有超過半數1 表示，EMI 相符性和干擾分析是模擬中最耗時的部分。像這樣的領域，發展已夠成熟，而可適用隨處運行的架構。 頁數 6本文件資訊如有修改，恕不另行通知。© Keysight Technologies, 2019, Published in USA, April 16, 2019, 5992-3771ZHA如需聯絡我們，請上網查詢 www.keysight.com 詳細的資訊，請上網查詢：www.keysight.com有關是德科技電子量測產品、應用及服務的詳細資訊，可查詢我們的網站或來電洽詢。以下為是德科技聯絡窗口：www.keysight.com/find/contactus現代自動化和分析工具，具備強大的計算和儲存功能，要實現即時監控一點也不費力。工程師需使用資料分析軟體來管理他們的資料，並以易於理解的格式呈現。研究顯示，工程師每週花費超過 8 小時的時間來搜尋和使用他們所需的資料。2 持續整合（CI）和持續交付（CD）現在是 DevOps 文化中的常用術語。這些重要的概念，均可直接轉換成自動化領域的測試環境。從測試設計和部署，到裝置測試和驗證，DevOps 都能直接將理論轉換成測試環境。TestOps 工程師必須採取「快速失敗（fail fast）」的機制，並透過迭代器不斷修正測試序列，同時消除失效狀態，解決執行快速測試和分析時遇到的阻礙。 結語透過通用資料交換、開放 API、頂尖量測科學、可擴展的隨處運行架構及整合分析和可視化，這些原則是轉型成全新的互連設計與測試工作流程的建構基礎。這種方法可有效提升產品生命週期的各階段的開發效率。但是，要極致利用這些功能，需要的不只是軟硬體的改變。這還需要改變開發文化。TestOps 是一種能夠實現互連和敏捷設計與測試的開發文化。您是否已準備好在公司中接受 TestOps 文化？請瀏覽 www.keysight.com/find/pathwave，以了解是德科技屢獲殊榮的設計和測試軟體，如何有效協助您實現更緊密靈活的設計和測試工作流程。1 消除電子產品的上市時間障礙。Dimensional Research Survey on behalf of Keysight Technologies, Januar