-
Notifications
You must be signed in to change notification settings - Fork 14
[Virt] Multi arch STP #19
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
base: main
Are you sure you want to change the base?
Changes from all commits
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -0,0 +1,187 @@ | ||||||||||||||||||||||||||||||||||||||||||||||
| # Openshift-virtualization-tests Test plan | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| ## VM creation and Live Migration on a multi arch cluster - Quality Engineering Plan** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| ### **Metadata & Tracking** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Field | Details | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :--------------------- | :--------------------------------------------------------------------------------------------------------------------------------------------------------------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Enhancement(s)** | [dic-on-heterogeneous-cluster](https://github.com/kubevirt/enhancements/blob/main/veps/sig-storage/dic-on-heterogeneous-cluster/dic-on-heterogeneous-cluster.md) | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Feature in Jira** | [VIRTSTRAT-494](https://issues.redhat.com/browse/VIRTSTRAT-494) | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Jira Tracking** | [CNV-26818](https://issues.redhat.com/browse/CNV-26818) | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **QE Owner(s)** | Akriti Gupta | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Owning SIG** | sig-iuo | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Participating SIGs** | sig-infra, sig-storage, sig-virt | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Current Status** | Draft | | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| **Document Conventions (if applicable):** [Define acronyms or terms specific to this document] | ||||||||||||||||||||||||||||||||||||||||||||||
| - VM : Virtual Machine | ||||||||||||||||||||||||||||||||||||||||||||||
| --- | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| ### **I. Motivation and Requirements Review (QE Review Guidelines)** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| This section documents the mandatory QE review process. The goal is to understand the feature's value, | ||||||||||||||||||||||||||||||||||||||||||||||
| technology, and testability before formal test planning. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **1. Requirement & User Story Review Checklist** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Check | Done | Details/Notes | Comments | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :------------------------------------- | :--- | :--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | :------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Review Requirements** | [x] | Reviewed the relevant requirements. | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Understand Value** | [x] | Confirmed clear user stories and understood. <br/>Ensures workload uptime and hardware flexibility by enabling seamless VM creation and architecture-safe live migration across x86 and ARM nodes within a single managed cluster.<br/> | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Customer Use Cases** | [x] | Ensured requirements contain relevant **customer use cases**. | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Testability** | [x] | Confirmed requirements are **testable and unambiguous**. | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Acceptance Criteria** | [x] | Ensured acceptance criteria are **defined clearly** (clear user stories; D/S requirements clearly defined in Jira). | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Non-Functional Requirements (NFRs)** | [x] | Confirmed coverage for NFRs, including Performance, Security, Usability, Downtime, Connectivity, Monitoring (alerts/metrics), Scalability, Portability (e.g., cloud support), and Docs. | | | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **2. Technology and Design Review** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Check | Done | Details/Notes | Comments | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :------------------------------- | :--- | :------------------------------------------------------------------------------------------------------------------------------------------------------ | :------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Developer Handoff/QE Kickoff** | [x] | A meeting where Dev/Arch walked QE through the design, architecture, and implementation details. **Critical for identifying untestable aspects early.** | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Technology Challenges** | [x] | Identified potential testing challenges related to the underlying technology. | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Test Environment Needs** | [x] | Determined necessary **test environment setups and tools**. | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **API Extensions** | [x] | Reviewed new or modified APIs and their impact on testing. | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Topology Considerations** | [x] | Evaluated multi-cluster, network topology, and architectural impacts. | | | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| ### **II. Software Test Plan (STP)** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| This STP serves as the **overall roadmap for testing**, detailing the scope, approach, resources, and schedule. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **1. Scope of Testing** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| This test plan checks if VMs schedules and live migrates correctly on a mixed architecture cluster | ||||||||||||||||||||||||||||||||||||||||||||||
|
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Grammar: subject–verb agreement. 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| **In Scope:** | ||||||||||||||||||||||||||||||||||||||||||||||
| - Create VMs for both AMD64 and ARM64 arch types and confirm the cluster automatically schedules them on respective architecture node. | ||||||||||||||||||||||||||||||||||||||||||||||
| - Test VM creation using both golden image DataSources and custom Qcow2 images and ensure they always land on the right nodes. | ||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+59
to
+60
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🛠️ Refactor suggestion | 🟠 Major Standardize architecture naming to lowercase throughout the document. The document inconsistently uses "AMD64/ARM64" (uppercase) and "amd64/arm64" (lowercase). Per vsibirsk's feedback, KubeVirt uses lowercase. Standardize to Affected lines include 58-59, 72, 76, 148, and 168-170. Based on learnings, vsibirsk indicated arch names should match KV convention: 'amd64' and 'arm64'. ♻️ Proposed fix for naming consistency-- Create VMs for both AMD64 and ARM64 arch types and confirm the cluster automatically schedules them on respective architecture node.
+- Create VMs for both amd64 and arm64 arch types and confirm the cluster automatically schedules them on respective architecture node.
-- Test VM creation using both golden image DataSources and custom Qcow2 images and ensure they always land on the right nodes.
+- Test VM creation using both golden image DataSources and custom Qcow2 images for both amd64 and arm64 architectures and ensure they always land on the right nodes.Apply similar changes to lines 148, 168-170 to use lowercase architecture names consistently. Also applies to: 72-72, 76-76, 148-148, 168-170 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
| - Verify that VMs can Live Migrate between nodes of the same type (`amd64` to `amd64` and `arm64` to `arm64`) without issues. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| **Out of Scope (Testing Scope Exclusions)** | ||||||||||||||||||||||||||||||||||||||||||||||
| **Note:** Replace example rows with your actual out-of-scope items. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Out-of-Scope Item | Rationale | PM/ Lead Agreement | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :----------------------------- | :------------------------------------------------------------------------ | :----------------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Testing with container disk VM | There's no defaulting of the architecture based on the containerdisk arch | [ ] Name/Date | | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+58
to
+69
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Fix spelling error and complete the Out of Scope section. Line 58 contains a spelling error ("thier" → "their"), and the Out of Scope section still has placeholder instruction text (line 63) that should be removed. The table needs to be populated with actual out-of-scope items relevant to this feature. ✏️ Proposed spelling fix-- Create VMs for both AMD and ARM and confirm the cluster automatically places them on thier respective architecture node.
+- Create VMs for both AMD and ARM and confirm the cluster automatically places them on their respective architecture node.📝 Committable suggestion
Suggested change
🧰 Tools🪛 LanguageTool[grammar] ~58-~58: Ensure spelling is correct (QB_NEW_EN_ORTHOGRAPHY_ERROR_IDS_1) 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **2. Testing Goals** | ||||||||||||||||||||||||||||||||||||||||||||||
| - Validate Correct Architecture Scheduling: Confirm that 100% of amd64 and arm64 VMs are automatically placed on worker nodes with the matching CPU architecture. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| - Verify Live Migration: Successfully migrate running VMs between same-arch nodes (x86 to x86, ARM to ARM). | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| - Verify Multi-Method Provisioning: Achieve 100% success rate for VM creation using both golden image DataSources and custom Qcow2 images across both architectures. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **3. Test Strategy** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| The following test strategy considerations must be reviewed and addressed. Mark "Y" if applicable, | ||||||||||||||||||||||||||||||||||||||||||||||
| "N/A" if not applicable (with justification in Comments). Empty cells indicate incomplete review. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Item | Description | Applicable (Y/N or N/A) | Comments | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :----------------------------- | :----------------------------------------------------------------------------------------------------------------------------------------------------------- | :---------------------- | :------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Functional Testing | Validates that the VM scedules and live migrates on corrcet architecture node stories | Yes | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Automation Testing | Ensures test cases are automated for continuous integration and regression coverage | Yes | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Performance Testing | Validates feature performance meets requirements (latency, throughput, resource usage) | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Security Testing | Verifies security requirements, RBAC, authentication, authorization, and vulnerability scanning | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Usability Testing | Validates user experience, UI/UX consistency, and accessibility requirements. Does the feature require UI? If so, ensure the UI aligns with the requirements | Yes | | | ||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+81
to
+90
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Clean up typos and normalize applicability values. 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
| | Compatibility Testing | Ensures feature works across supported platforms, versions, and configurations | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Regression Testing | Verifies that new changes do not break existing functionality | Yes | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Upgrade Testing | Validates upgrade paths from previous versions, data migration, and configuration preservation | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Backward Compatibility Testing | Ensures feature maintains compatibility with previous API versions and configurations | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Dependencies | Dependent on deliverables from other components/products? Identify what is tested by which team. | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Cross Integrations | Does the feature affect other features/require testing by other components? Identify what is tested by which team. | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Monitoring | Does the feature require metrics and/or alerts? | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Cloud Testing | Does the feature require multi-cloud platform testing? Consider cloud-specific features. | N/A | | | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **4. Test Environment** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Environment Component | Configuration | Specification Examples | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :-------------------------------------------- | :-------------------- | :-------------------------------------------------------------------------------------------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Cluster Topology** | MultiArch cluster | 3 control-plane and 4 worker nodes | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **OCP & OpenShift Virtualization Version(s)** | OCP 4.21, CNV-4.21 | OCP 4.21 and OpenShift Virtualization 4.21 | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **CPU Virtualization** | Multi-arch cluster | 3 amd64 control-plane, 2 amd64 workers, and 2 arm64 workers | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Compute Resources** | N/A | [e.g., Minimum per worker node: 8 vCPUs, 32GB RAM] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Special Hardware** | N/A | [e.g., Specific NICs for SR-IOV, GPU etc.] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Storage** | io2-csi storage class | AWS EBS io2 CSI driver | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Network** | N/A | [e.g., OVN-Kubernetes (default), Secondary Networks, Network Plugins, IPv4, IPv6, dual-stack] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Required Operators** | N/A | [e.g., NMState Operator] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Platform** | AWS | AWS for Arm nodes. | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Special Configurations** | N/A | [e.g., Disconnected/air-gapped cluster, Proxy environment, FIPS mode enabled] | | ||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+108
to
+114
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Replace remaining placeholder examples in Test Environment. 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **4.1. Testing Tools & Frameworks** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| <!-- Document any **new or additional** testing tools, frameworks, or infrastructure required specifically | ||||||||||||||||||||||||||||||||||||||||||||||
| for this feature. **Note:** Only list tools that are **new** or **different** from standard testing infrastructure. | ||||||||||||||||||||||||||||||||||||||||||||||
| Leave empty if using standard tools. --> | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Category | Tools/Frameworks | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :----------------- | :---------------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Test Framework** | MultiArch cluster | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **CI/CD** | | | ||||||||||||||||||||||||||||||||||||||||||||||
| | **Other Tools** | | | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **5. Entry Criteria** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| The following conditions must be met before testing can begin: | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| - [ ] Requirements and design documents are **approved and merged** | ||||||||||||||||||||||||||||||||||||||||||||||
| - [ ] Test environment can be **set up and configured** (see Section II.4 - Test Environment) | ||||||||||||||||||||||||||||||||||||||||||||||
| - [ ] Multi-CPU architecture support enabled in openshift-virtualization repo | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+128
to
+135
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🧩 Analysis chain🏁 Script executed: cat -n stps/sig-virt/multiarch_support.md | sed -n '120,140p'Repository: RedHatQE/openshift-virtualization-tests-design-docs Length of output: 980 🏁 Script executed: rg -i "(github|issue|pr|pull request|#[0-9])" stps/sig-virt/multiarch_support.mdRepository: RedHatQE/openshift-virtualization-tests-design-docs Length of output: 2837 🏁 Script executed: rg -i "multi-cpu|multiarch" stps/sig-virt/multiarch_support.md -B 2 -A 2Repository: RedHatQE/openshift-virtualization-tests-design-docs Length of output: 1206 🏁 Script executed: head -50 stps/sig-virt/multiarch_support.mdRepository: RedHatQE/openshift-virtualization-tests-design-docs Length of output: 6290 Add explicit tracking references to Entry Criteria items. Line 134 mentions "Multi-CPU architecture support enabled" but lacks a reference to the specific tracking issue. Link this item to the relevant Jira tracking issue (e.g., CNV-26818) or the enhancement document. While this document is in Draft status, Entry Criteria items should clearly reference where their completion is tracked. 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
| #### **6. Risks** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| <!-- Document specific risks for this feature. If a risk category is not applicable, mark as "N/A" with | ||||||||||||||||||||||||||||||||||||||||||||||
| justification in mitigation strategy. --> | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| <!-- **Note:** Empty "Specific Risk" cells mean this must be filled. "N/A" means explicitly not applicable | ||||||||||||||||||||||||||||||||||||||||||||||
| with justification. --> | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Risk Category | Specific Risk for This Feature | Mitigation Strategy | Status | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :------------------- | :------------------------------------------------------------------------------------------------------------------------------------------- | :--------------------------------------------------------------------------------------------- | :----- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Timeline/Schedule | Code Freeze on Jan 12th | [Your specific mitigation, e.g., "Prioritize P1 scenarios, automate in parallel"] | [ ] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Test Coverage | enable multi-arch cluster support is under WIP | PR https://github.com/RedHatQE/openshift-virtualization-tests/pull/3147 | [ ] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Test Environment | For testing Live Migration we need 2 ARM64 nodes and two AMD64 nodes on a cluster current jenkins job deploys cluster with single ARM64 node | https://issues.redhat.com/browse/CNV-73894 | [ ] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Untestable Aspects | [List what cannot be tested, e.g., "Production scale with 10k VMs"] | [Your mitigation, e.g., "Test at smaller scale, extrapolate results, prod monitoring"] | [ ] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Resource Constraints | [Describe resource issues, e.g., "Only 1 QE assigned, feature spans 3 components"] | [Your mitigation, e.g., "Focus automation on critical paths, coordinate with dev for testing"] | [ ] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Dependencies | [Describe dependency risks, e.g., "Depends on Storage team delivering feature X"] | [Your mitigation, e.g., "Coordinate with Storage QE, have backup test plan"] | [ ] | | ||||||||||||||||||||||||||||||||||||||||||||||
| | Other | [Any other specific risks] | [Mitigation strategy] | [ ] | | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| #### **7. Known Limitations** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| Testing on Container Disk VM is limited since, there's no defaulting of the architecture based on the containerdisk arch at the moment so VM won't schedule on expected architecture node unless manually providing spec.template.spec.architecture in the VM | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| ### **III. Test Scenarios & Traceability** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Probably a windows tests |
||||||||||||||||||||||||||||||||||||||||||||||
| This section links requirements to test coverage, enabling reviewers to verify all requirements are | ||||||||||||||||||||||||||||||||||||||||||||||
| tested. | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| | Requirement ID | Requirement Summary | Test Scenario(s) | Tier | Priority | | ||||||||||||||||||||||||||||||||||||||||||||||
| | :------------- | :------------------ | :----------------------------------------------------------------------------- | :----- | :------- | | ||||||||||||||||||||||||||||||||||||||||||||||
| | [CNV-72102] | | Deploy and Test with a Multi-Arch cluster with 4.21 | Tier 2 | P2 | | ||||||||||||||||||||||||||||||||||||||||||||||
| | [CNV-74480] | | Test updating amd64 cpuModel in HCO and check arm64 VM creations on ARM nodes. | Tier 2 | P0 | | ||||||||||||||||||||||||||||||||||||||||||||||
| | [CNV-75737] | | Run Tier2 Tests on Multi-Arch Clusters (ARM64 and AMD64) | Tier 2 | P1 | | ||||||||||||||||||||||||||||||||||||||||||||||
| | [CNV-74481] | | Update Tier2 automation to handle Multi-Arch scenarios | Tier 2 | P2 | | ||||||||||||||||||||||||||||||||||||||||||||||
| | [CNV-33896] | | Run Conformance Tests on multi-arch cluster (ARM64 and AMD64) | Tier 1 | P1 | | ||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+159
to
+170
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Populate Requirement Summary column in traceability matrix. The "Requirement Summary" column (lines 164-170) is completely empty. Each row must include a brief summary of the requirement from the referenced JIRA ticket (e.g., "Validate AMD64 VM scheduling," "Enable ARM64 node support," etc.) to enable reviewers to verify traceability without external system access. 🧰 Tools🪛 LanguageTool[grammar] ~168-~168: Ensure spelling is correct (QB_NEW_EN_ORTHOGRAPHY_ERROR_IDS_1) [grammar] ~169-~169: Ensure spelling is correct (QB_NEW_EN_ORTHOGRAPHY_ERROR_IDS_1) 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
Comment on lines
+159
to
+171
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. 🧩 Analysis chain🏁 Script executed: find . -name "multiarch_support.md" -path "*/sig-virt/*" 2>/dev/null | head -20Repository: RedHatQE/openshift-virtualization-tests-design-docs Length of output: 131 🏁 Script executed: cat -n ./stps/sig-virt/multiarch_support.md | sed -n '155,175p'Repository: RedHatQE/openshift-virtualization-tests-design-docs Length of output: 1686 Populate the Requirement Summary column in the traceability matrix. All entries in the "Requirement Summary" column (lines 166–170) are empty. This breaks the traceability chain described in the section header, which explicitly states the purpose is to "link requirements to test coverage, enabling reviewers to verify all requirements are tested." Each CNV Jira ID must have a corresponding summary that describes what the requirement aims to achieve. Without these summaries, reviewers cannot verify that test scenarios adequately cover each requirement. Add concise requirement descriptions for each entry. 🧰 Tools🪛 LanguageTool[grammar] ~168-~168: Ensure spelling is correct (QB_NEW_EN_ORTHOGRAPHY_ERROR_IDS_1) [grammar] ~169-~169: Ensure spelling is correct (QB_NEW_EN_ORTHOGRAPHY_ERROR_IDS_1) 🤖 Prompt for AI Agents |
||||||||||||||||||||||||||||||||||||||||||||||
| --- | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| ### **IV. Sign-off and Approval** | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| This Software Test Plan requires approval from the following stakeholders: | ||||||||||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||||||||||
| * **Reviewers:** | ||||||||||||||||||||||||||||||||||||||||||||||
| - dshchedr | ||||||||||||||||||||||||||||||||||||||||||||||
| - vsibirsk | ||||||||||||||||||||||||||||||||||||||||||||||
| - kbidarkar | ||||||||||||||||||||||||||||||||||||||||||||||
| - SiboWang1997 | ||||||||||||||||||||||||||||||||||||||||||||||
| - jerry7z | ||||||||||||||||||||||||||||||||||||||||||||||
| - SamAlber | ||||||||||||||||||||||||||||||||||||||||||||||
| * **Approvers:** | ||||||||||||||||||||||||||||||||||||||||||||||
| - dshchedr | ||||||||||||||||||||||||||||||||||||||||||||||
| - vsibirsk | ||||||||||||||||||||||||||||||||||||||||||||||
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Replace the document-conventions placeholder.
Line 17 still contains the template instruction. Either remove it or replace with real acronyms/terms for this plan.
🤖 Prompt for AI Agents