在這篇文章中我們來了解一下“Apache Pig中cogroup與group運算符有何異同”，一些朋友可能會遇到這方面的問題，對此在下文小編向大家來講解一下，內(nèi)容詳細，易于理解，希望大家閱讀完這篇能有收獲哦，有需要的朋友就往下看吧！

COGROUP 運算符的運作方式與 GROUP 運算符相同。兩個運算符之間的唯一區(qū)別是 group 運算符通常用于一個關系，而 cogroup 運算符用于涉及兩個或多個關系的語句。

使用Cogroup分組兩個關系

假設在HDFS目錄 /pig_data/ 中有兩個文件，即 student_details.txt 和 employee_details.txt ，如下所示。

student_details.txt

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

employee_details.txt

001,Robin,22,newyork 
002,BOB,23,Kolkata 
003,Maya,23,Tokyo 
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai

將這些文件分別加載到Pig中，關系名稱分別為 student_details 和 employee_details ，如下所示。

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray); 
  
grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

現(xiàn)在，將 student_details 和 employee_details 關系的記錄/元組按關鍵字age進行分組，如下所示。

grunt> cogroup_data = COGROUP student_details by age, employee_details by age;

驗證

使用 DUMP 運算符驗證關系 cogroup_data ，如下所示。

grunt> Dump cogroup_data;

輸出

它將產(chǎn)生以下輸出，顯示名為 cogroup_data 的關系的內(nèi)容，如下所示。

(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)}, 
   {    })  
(22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) },  
   { (6,Maggy,22,Chennai),(1,Robin,22,newyork) })  
(23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)}, 
   {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)}) 
(24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)}, 
   { })  
(25,{   }, 
   {(4,Sara,25,London)})

cogroup 運算符根據(jù)年齡對來自每個關系的元組進行分組，其中每個組描述特定的年齡值。

例如，如果我們考慮結(jié)果的第一個元組，它按照年齡21分組，那它包含兩個包

• 第一個包保存了具有21歲的第一關系（在這種情況下是 student_details ）的所有元組；

• 第二個包具有第二關系（在這種情況下為 employee_details ）的所有元組，其年齡為21歲。

如果關系不具有年齡值為21的元組，則返回一個空包。

到此這篇關于“Apache Pig中cogroup與group運算符有何異同”的文章就介紹到這了,更多相關內(nèi)容請搜索群英網(wǎng)絡以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持群英網(wǎng)絡！

免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：[email protected]進行舉報，并提供相關證據(jù)，查實之后，將立刻刪除涉嫌侵權(quán)內(nèi)容。

猜你喜歡

• 如何理解Hadoop ResourceManager，有哪些要點

  負責全局的資源管理和任務調(diào)度，把整個集群當成計算資源池，只關注分配，不管應用，且不負責容錯 ；以前資源是每個節(jié)點分成一個個的Map slot和Reduce slot，現(xiàn)在是一個個Container，每個Container可以根據(jù)需要運行

• 何使用Store運算符在Apache Pig中存儲數(shù)據(jù)

  在上一章中，我們學習了如何將數(shù)據(jù)加載到Apache Pig中。你可以使用 store 運算符將加載的數(shù)據(jù)存儲在文件系統(tǒng)中，本章介紹如何使用 Store 運算符在Apache Pig中存儲數(shù)據(jù)。語法下面給出了Store語句的語法。

• Apache Pig中Limit運算符有什么用

  LIMIT 運算符用于從關系中獲取有限數(shù)量的元組。語法下面給出了 LIMIT 運算符的語法。grunt> Result = LIMIT Relation_name required number of tuples;

• Hadoop編程處理是怎樣，怎樣理解

  在這篇文章中我們來了解一下Hadoop 編程，一些朋友可能會遇到這方面的問題，對此在下文小編向大家來講解一下，內(nèi)容詳細，易于理解，希望大家閱讀完這篇能有收獲哦，有需要的朋友就往下看吧

• Apache Pig中Order By運算符用于做什么

  ORDER BY 運算符用于以基于一個或多個字段的排序順序顯示關系的內(nèi)容。語法下面給出了 ORDER BY 運算符的語法。grunt> Relation_name2 = ORDER Relatin_name1 BY (ASC|DESC);