Zyphra, TSP(Tensor and Sequence Parallelism) 공개: 일치하는 TP+SP 기준 대비 2.6배 처리량을 제공하는 하드웨어 인식 학습·추론 전략
Zyphra Introduces Tensor and Sequence Parallelism (TSP): A Hardware-Aware Training and Inference Strategy That Delivers 2.6x Throughput Over Matched TP+SP Baselines
TL;DR AI
1분핵심 요약
Zyphra는 텐서와 시퀀스 병렬성을 하나의 디바이스 메시 축에 통합한 새로운 샤딩 방식인 TSP(Tensor and Sequence Parallelism)를 공개했다.
최대 1,024개의 AMD MI300X GPU 벤치마크에서 TSP는 기존 방식보다 GPU당 피크 메모리를 줄였다.
또한 텐서+시퀀스 병렬성 기준선 대비 2.6배 높은 처리량을 기록했다.
이 방식은 특히 장문 컨텍스트 워크로드에서 대규모 트랜스포머 학습과 추론을 더 효율적으로 만드는 것을 목표로 한다.