• push is good! ( no more polling but pushing data whenever they are available in terms of web application )
• piping ( like how unix commands are used but now this time with web applications )
• XMPP vs Web Hook ( I need to delve into them more before I tell anything about them )
• Logic and Content
• Service Integration
• Composability
• Code as Glue ( wow check out the idea of using pastebin as instant code as glue )
  

• 시간:

  2008년 8월 23일 토요일, 13:00 ~ 21:00

• 장소:

  서울 강남역 6번 출구 토즈 강남점 (위치 참조)

• 행사 대표:

  keedi (김도형)

• 행사 목표:

  한국의 펄 사용자들이 모일 수 있는 장을 마련하여, 한국 내 펄 커뮤니티를 확대하고 기존 사용자들에게 펄에 대한 새로운 관심과 가능성을 전달하기 위해 이번 행사를 개최합니다.

• 행사 설명:

  펄은 파이썬, 루비와 함께 가장 인기있는 3대 스크립트 언어 중 하나입니다. 20여년의 역사를 가진 펄은 국내에서는 오래된 언어쯤으로 취급받고 있지만, 오히려 국제적으로 여전히 많이 사용하고 있으며, 해외의 펄 커뮤니티는 갈수록 그 열기 또한 뜨거워지고 있습니다. 최근 일본에서 열린 펄 컨퍼런스인 YAPC::Asia 2008을 보더라도 단일 언어를 주제로 500명에 달하는 국내외 참석자가 모인 것을 보면 펄이란 녀석이 무슨 매력을 가지고 있긴 한가 봅니다.

  국내에서는 비단 개발과 서버관리 보안 등의 IT분야 뿐 아니라 생명정보학이나, 언어학, 대용량 자료처리 등 다양한 분야에서도 펄을 사용하고 있습니다. 하지만 이렇게 펄을 사용하는 분들이 모여서 의사소통할 수 있는 기회는 거의 없었습니다. 아무쪼록 이번 워크샵을 통해 한국에서 펄에 관심을 가지신 분들과 함께 최신 펄의 동향과 기술적인 주제들을 공유할 수 있는 장이 될 수 있길, 국내의 펄 커뮤니티가 질적으로나 양적으로나 한 단계 성장할 수 있길 기대해봅니다.

  많은 관심과 참석 부탁드리겠습니다. 고맙습니다! :-)

• 행사 내용:

  정규 발표(각 20분) 13개, 짧은 발표(각 5분) 8개 (일정 참조)

• 등록비:
  • 사전등록: 청소년 및 학생(대학원생 포함) 5,000원 직장인 10,000원
  • 현장등록: 청소년 및 학생(대학원생 포함) 10,000원 직장인 20,000원

  8월 11일 월요일부터 이곳에서 등록할 수 있습니다.

• 행사 STAFF:
  • saillinux
  • verve
  • aero
  • amorette
  • pung96
  • 고기스님
• 후원:
  • NHN Corp.
  • Free OpenSource Software Association
  • 싸이텍 미디어, 지&선
  • 한빛 미디어
  • KLDP
  • 펄매니아
  • 한국 펄 사용자 모임

• perl debugger 에선 입력한 코드의 결과값을 보기 위해선 x, p 명령어를 이용해서 확인 할수 있겠다. 그에비해 Devel::REPL은 바로바로 변수 이름을 입력하거나 객체를 생성하거나 함수를 실행할때 리턴값들을 자동으로 출력해 줄수있겠다.

• Multi line 지원인데 perl debugger에선 함수 선언을 할때 우리가 원하는 라인넘김을 사용할수가 없겠다대신 \ 기호를 이용해 (keedi님, pung96님께 감사~) 라인넘김대신 사용하여 여러 라인으로 구성된 함수를 지정해 주어야하지만 Devel::REPL에선 MultiLine::PPI 플러긴을 통해 라인넘김을 지원하게 되었다 (아직 문제가 되는 부분들이 있다 나중에 설명을).

• Devel::REPL은 플러긴을 지원하는 시스템이 되겠다. MooseX::Object::Pluggable 를 이용하여 perl로 직접 추가 기능등을 구현 할수 있는가에 비해 perldebugger는 이미 완성되어 있는 perl interpreter의 추가 기능이라 부가적인 기능을 개발하기가 매우 힘들것이다.

• 플러긴이 아직 많지는 않아 리스트만 해보겠다 이름을 통해 직관적으로 각 기능들이 무엇을 하는지 알수 있겠다. 이런점들이 Devel::REPL이 perl debugger 보다 인터랙티브 환경에 더 적합한 점이 되겠으며 다른 언어의 REPL환경보다 저 좋게 구현 할수 있다는 장점이 있겠다.
• CompletionDriver
• MultiLine
• Colors.pm
• Commands.pm
• Completion.pm
• DDS.pm
• DumpHistory .pm
• FancyPrompt .pm
• History.pm
• Interrupt.pm
• LexEnv .pm
• NewlineHack.pm
• OutputCache.pm
• Packages.pm
• ReadLineHistory.pm
• Refresh.pm
• ShowClass.pm
• Timing.pm
• Turtles.pm
• Devel::REPL에선 모든 입력들이 use strict 환경에서 적용된다.

• Devel::REPL이 사용하는 모듈중에 namespace::clean이라는 모듈을 사용하는데 우리가 개발하는 모듈이바뀔때마다 다시 리로딩 하여 이미 기존에 있는 package namespace를 refresh 할수 있는 기능이 있는것 같다.(확인 필요)

• startup script을 사용할수 있다 (perl debugger 도 있는지 확인 필요)

Devel::REPL이 perl debugger보다 부족한점을 리스트 해보겠다.

• perl debugger는 perl 이 설치된 시점에 이미 사용할수 있다는 장점이 있는가에 비해 Devel::REPL은CPAN에서 직접 설치를 해줘야한다는 점이 있겠다 그리고 설치 모듈 수도 Moose를 요구하는 부분이 있어 많은 수의 설치가실행된다. 물론 ubuntu에선 package로 제공되고 있지만 아쉽게도 버젼이 낮은듯하다.

• Devel::REPL에 비해 속도가 매우 빠른듯 하다. 특히 실해되는 시점에서 부터.

• perl debugger는 perl -de0명령어 하나로 접근성이 매우 좋고 기억하기가 편하다 그에Devel::REPL은 perl -Ilib -MDevel::REPL -e "Devel::REPL->new->run;"이라는 좀 적지 않은 perl one liner를 이용해 접근해야 하는 불편한 점이 있다.

• perl debugger는 기본적으로 Lexical 변수를 저장할수 있다 그외 비해 Devel::REPL은 LexEnv 플러긴을 통해 이를 지원한다.

• Devel::REPL은 break, continue, watch 기능을 지원하지 않는다.

• Devel::REPL은 symbol table에 있는 package name에 등록되어 있는 함수랑 변수를 따로 보여주는 기능이 없다. 대신에 직접 keys %main::를 입력하면 해당 값들이 나오겠다.

• 이미 emacs의 gud 환경에서 perl debugger를 기가막히게 사용할수 있다. (물론 Stylish에서 이미 Devel::REPL 모드를 emacs 용으로 구현해 놓았다. 대신 perl 5.10이 필요하다)

여러 종류의 perl을 위한 REPL 환경을 제공하는 모듈들이 CPAN 에 많이 올라와 있지만 특히 완성도가 좀 있는Perl Console 같은것도 확인 되었지만 현재 Devel::REPL만크 모던 스크립팅 언어 추세를 좀더 이해하고 플러긴 시스템을지원한다는점이있어 선택하게 되었다.

현재 인기상승중인 Moose를 이용해 개발 되었으며 플러긴 개발을 매우 쉽게 해줄수 있는인터페이스를 제공하고 있는 점을 고려 해본다면 아직 미완성인 부분들이 있지만 현존하는 모든 언어들의 REPL중에서 매우 좋은측에 선다고 생각된다.

Devel::REPL을 이용한 간단한 web scraping 예제

보통 우리가 perl script을 작성 하고 테스트 할때 바로바로 실행해서 확인 하는데엔 무리가 없지만 웹에서 컨텐츠를가져오거나 여러 모듈을 실험해 볼때는 이런 방법은 시간을 많이 소요하게된다.

특히 웹에서 컨텐츠를 가져오는 작업은 보통 받아온컨텐츠를 이리저리 굴려 보면서 원하는 값을 긁어 오는 작업에 집중해야 하는데 추출하는 로직을 수정해야 할때 마다 웹에서 컨텐츠를가져와야 하게 된다면 매우 피곤하고 단순하면서 코딩 흐름을 방해하는 부분이 되겠다. 이를 해결해 주는 것이Devel::REPL이 되겠다!!

우선 re.pl (Devel::REPL을 스크립으로 돌릴시 기본적으로 사용되는 이름이 되겠다. 여기서 re.pl이 REPL이라고 지적해주신 yuni님께 감사~) 의 이름을 가진 스크립안에 아래와 같은 코드를 작성에Devel::REPL을 돌리도록 하겠다.

use strict;

use warnings;

use Devel::REPL;



my $repl = Devel::REPL->new;

$repl->load_plugin($_) for qw(

                               History

                               DumpHistory

                               LexEnv

                               MultiLine::PPI

                               Commands

                               Completion

                               DDS

                               FancyPrompt

                               ShowClass

                               Timing

                            );

$repl->run;



이 스크립을 perl re.pl로 돌리면 아래와 같은 interactive shell 환경이 실행 될것이다. 여기서 몇개의 주요 플러긴을 간략하게 소개 하도록 하겠다. 

• History.pm : bash 의 history기능과 비슷하다 생각하면 되겠다 리스팅은 안해 주지만 !를 prefix주고 숫자를 주면 해당 라인이 재실행 되겠다.
• LexEnv.pm : REPL에서 lexcial 변수로 정의되는 값들을 보존하게 해준다 (perl은 package변수와 lexical변수가 구분된다 여기서 package 변수는 eval로 실행되면 symbol table로 저장되어 세션에서 보존되지만lexcical 변수는 eval은 하고난뒤 삭제되어 이를 방지해주는 플러긴이 되겠다.)
• DumpHistory.pm : :dump라고 repl에 입력하면 지금까지 입력했던 값들을 리스트한다.
• MultiLine::PPI.pm : 여러라인으로 구성된 함수를 선언하거나 구성된 값을 입력시 필요한 플러긴이 되겠다.
• DDS.pm : 변수값들을 Data::Dump::Streamer 모듈을 이용하여 Data::Dumper와 같은 출력을 보여주는 유용한 플러긴
• Timing.pm : 실행된 라인이 얼마나 걸렸는지 걸린 시간을 보여주는 아주 유용한 플러긴 (리얼타임 프로파일링)
• FancyPrompt.pm : 루비의 irb와 같은 prompt를 제공해준다.

re.pl(main):075:0> $track_nodes[0]->findnodes('./tr')->[1]->findvalue('./td')

Took 0.0673990249633789 seconds.

$XML_XPathEngine_Literal1 = 6/6/2008 9:01:22 AMArtist :DJ Fuma buy;



re.pl(main):076:0>

여기서 scraping할 테스트 페이지는 내가 주로 듣는 라디오 playlist를 보여주는 페이지가 되겠는데 여기서 recently played items에 있는 track 정보들을 가져와서 출력해주는 예제가 되겠다.

우선 아래의 코드가 REPL을 통해 구현된 완성된 코드가 되겠다.

#!/usr/bin/perl

use strict;

use warnings;

use WWW::Mechanize;

use HTML::TreeBuilder::XPath;



my $url = "http://www.lounge-radio.com/code/pushed_files/recently.html";

my $mech = WWW::Mechanize->new;

$mech->get($url) or die "eeek no such page to retrieve! $!";



my $tree = HTML::TreeBuilder::XPath->new;

$tree->parse($mech->content) or die "No contents to parse";

$tree->eof;



my @track_nodes = $tree->findnodes('//tbody[@class="table"]');



foreach my $track (@track_nodes) {

    print "-"x25,"\n";

    foreach my $tr ($track->findnodes('./tr')) {

      my $td = $tr->findvalue('./td');

      $td =~ /

               (

                 \d+\/\d+\/\d+

                 \s

                 \d+:\d+:\d+\s\w{2}

               )      # match datetime and capture

               Artist # match Artist

               \s     # match whitespace

               :      # match  delimiter

               (.*)   # match the artist name and capture

               \s+    # match any length of whitespace

               buy    # match buy

             /ox

               and print "Date: $1\nArtist: $2\n";

      $td =~ /Track\s:(.*)/o and print "Track: $1\n";

      $td =~ /Album\s:(.*)/o and print "Album: $1\n";

    }

    print "-"x25,"\n";

}

우선 $tree->eof; 라인까지는 REPL이 필요없어도 쉽게 작성할수 있는 코드가 되어서 복사해서 repl에 붙여 넣으면 되겠다.

중간에 $mech->get($url) or die "eeek no such page to retrieve! $!"; 부분에서 2초 가까이 걸리는것을 알수 있겠다.

re.pl(main):023:0> $mech->get($url) or die "eeek no such page to retrieve! $!";

Took 2.48410296440125 seconds.

$HTTP_Response1 = HTTP::Response=HASH(0x9561674);

REPL의 장점은 우리가 관심있는 데이타를 실제 스크립을 다시 로딩 안해도 지속적인 작업을 받아온 데이타에 할수 있다는 점이 되겠다.

이제 웹에서 컨텐츠를 WWW::Mechanize로 가져온 상태고 이를 HTML::TreeBuilder::XPath로 파싱을 한 상태가 되겠다.

이제 여기서 부터 REPL의 기능을 최대한 누려 최대한 적은 양의 시간과 노력을 들여 개발을 시작해 보도록 하겠다.

우선 우리가 원하는 트랙 정보의 XPATH 값의 '//tbody[@class="table"]' 으로 쉽게 가져올수 있다는것을 확인할수 있겠다.

각 트랙을 담고 있는 테이블을 @track_nodes에 아래의 코드를 이용해 담도록 하겠다.

my @track_nodes = $tree->findnodes('//tbody[@class="table"]');

REPL에서 확인하면 몇개의 노드가 존재 하는지 알수가 있다 하지만 아쉽게도 아직 어떤 값들이 객체에 저장되어 있는가 알수가 없다.

re.pl(main):029:0> my @track_nodes = $tree->findnodes('//tbody[@class="table"]');

Took 0.279267072677612 seconds.

$ARRAY1 = [

            HTML::Element=HASH(0x95e0b30),

            HTML::Element=HASH(0x95e5964),

            HTML::Element=HASH(0x95edfa8),

            HTML::Element=HASH(0x95f3b80),

            HTML::Element=HASH(0x95fc35c),

            HTML::Element=HASH(0x9600fdc),

            HTML::Element=HASH(0x96082bc),

            HTML::Element=HASH(0x9610c08),

            HTML::Element=HASH(0x9614690),

            HTML::Element=HASH(0x961ddb4)

          ];





이 객체들이 어떤 메소드를 제공하는지 symbol table을 검색하여 확인 할수 있으며 객체 종류를 아는 이상 CPAN의

문서를 검색해서 알수 있겠다. 



심지어 플러긴을 추가 해서 실시간으로 객체에 대한 문서를 끄집어 낼수도 있는 기능도 차후에나올수도

있겠다. 이런 플러긴 개념으로 인해 다른 REPL에선 상상하기 힘든 부분도 고려하게 되는 점이 매력적이다.

우선 첫번째 트랙에 무엇이있는지 확인해 보도록 하자.

re.pl(main):030:0> $track_nodes[0]

Took 0.00596117973327637 seconds.

$HTML_Element1 = HTML::Element=HASH(0x95e0b30);

이것을 가지고 이제 이리저리 만져 보도록 하겠다. 우선 HTML::Element라는 객체가 첫번째 트랙으로 저장되어 있는걸알수 있지만 HTML::Element은 우리에게 약간 생소한 모듈이기 때문에 어떤 메소들 제공하는지 확인 하도록 하자.

keys %HTML::Element라고 REPL에 치면 아래와 같은 매우 긴 리스트가 나오겠다.

$ARRAY1 = [

            'PRUNE_UP',

            '__ANON__',

.

.

.

생략

.

            'look_down',

            'insert_element',

상당히 많은 리스트가 나온다 그래서 기억에 HTML관련 함수 가 있었던 것을 기억하고 아래와 같이 검색 해보았다.

re.pl(main):041:0> grep /html/i, keys %HTML::Element::

Took 0.0062408447265625 seconds.

$ARRAY1 = [

            'as_HTML',

            'html_uc'

          ];

as_HTML이란 함수를 발견 했다 이를 이욯해 출력을 해보겠다.

re.pl(main):043:0> $track_nodes[0]->as_HTML

Took 0.0187687873840332 seconds.

<tbody "waking="&quot;Waking" -="-" 6/6/2008="6/6/2008" 9:01:22="9:01:22" @="@" album:="Album:" am.="AM." by="by" class="table" dj="DJ" from="from" fuma="Fuma" fuma's="Fuma&#39;s" lounge="Lounge" onmouseout="oMO(this)" onmouseover="oMOv(this)" played="played" title="Fuma&#39;s Lounge v3 - " up"="Up&quot;" up""="Up&quot;&quot;" v3="v3" waking="Waking"><tr><td width="111"></td><td align="left" rowspan="5" width="0"></td><td align="left" rowspan="5" valign="middle" width="42">



... 생략

매우 지저분한 HTML 코드가 출력이 되었다 어떤 데이타가 들어 있는지 좀더 쉽게 볼수 있도록 해보자메뉴얼을 좀더 확인 해보니 as_HTML에 인자값을 넣어 인덴트를 할수 있다는것을 확인 할수 있었다.그래서 아래와 같이 다시 한번 돌려 보았다.

re.pl(main):070:0> $track_nodes[0]->findnodes('./tr')->[1]->as_HTML(undef, "\t")

Took 0.0138430595397949 seconds.

<tr>

        <td align="left" class="artist" rowspan="3" valign="middle">

                <div align="center">6/6/2008 9:01:22 AM</div>

        </td>

        <td align="left" class="artist" rowspan="3" valign="middle">

        </td>

        <td align="left" class="artist" valign="middle"><img height="12" src="imgs/spacer.gif" width="1" /><b>Artist :</b></td>

        <td align="left" class="artist" valign="middle"><img height="12" src="imgs/spacer.gif" width="1" /><b>DJ Fuma</b></td>

        <td align="left" class="artist" rowspan="3" valign="middle">

                <div align="center"><a "="&quot;" class="style1" dj="DJ" fuma="Fuma" href="Error: Field &#39;BUYITMS&#39; not found" onclick="return clickreturnvalue()" onmouseover="dropdownmenu(this, event, &#39;anylinkdj_fuma_-_fumas_lounge_v3_-_waking_up_-_fumas_lounge_v3_-_waking_up.mp3&#39;)" target="_blank" title="buy ! Fuma&#39;s Lounge v3 - " up"="Up&quot;" von="von" waking="Waking"> buy</a></div>

        </td>

</tr>



여기서 확실히 내가 원하는 값인 6/6/2008 9:01:22 AM 그리고 Artist값이 DJ Fuma를 

어디서 가져올수 있는지 쉽게 보여 주었다. as_HTML에 이런 기능이 있다는것을 

바로바로 알수 있게된 점이 매우 기쁘다.

 

내가 원하는 값들이 tr태그로 행으로 구분되어 있고 정작 원하는 값들은 td 태그안에 포함되어 있는 것을 확인 하였다.

다시 노드 검색을 ./tr XPATH값을 이용해 가져온 후 이 값을 findvalue를 이용해 안에 있는 텍스트 값을 가져올수 있겠다.

어떤 위치에 내가 원하는 값이 있는지 여러번의 시도가 필요 했는데 곧바로 REPL에 대고 실험 할수 있어서 매우 편했다.

여기서 첫번째 값에서 트랙이 플레이된 시간과 아티스트 이름을 알수 있는데 이를 정규식으로 잡아 보도록 하겠다.

우선 날짜를 아래와 같이 구할수가 있었다.

re.pl(main):060:0> $track_nodes[0]->findnodes('./tr')->[1]->findvalue('./td') =~ /(\d+)\/(\d+)\/(\d+)/

Took 0.0140421390533447 seconds.

$ARRAY1 = [

            ( 6 ) x 2,

            2008

          ];

그리고 정규식을 조금씩 조금씩 키워 나가 아래와 같이 만들수 있었다.

re.pl(main):061:0>track_nodes[0]->findnodes('./tr')->[1]->findvalue('./td') =~ /(\d+\/\d+\/\d+\s\d+:\d+:\d+\sAM|PM)Artist\s:(.+)/

Took 0.0144000053405762 seconds.

$ARRAY1 = [

            '6/6/2008 9:01:22 AM',

            'DJ Fuma buy'

          ];

이를 응용해 내가 원하는 값을 위와 같은 방법으로 가져올수 있었었고 지금까지 내가 사용한 라인들을 모아 아까 완료되었던 코드들을 완성할수 있었다.

여기서 소개된 툴들과 방법론은 현대 스크립팅언어를 대표하는 Python과 Ruby에선 이미 기본적으로 사용되는것이었었다. perl도 기본적으로 제공을 하고 있었지만 많은 인지도를 얻지를 못한듯하다. 허나 Devel::REPL을 이용하여플러긴을 제작할수 있고 CPAN에 잠재워진 수많은 모듈들을 이를 통해 매우 손쉽게 접근할수 있는점을 생각하면 다른 언어에서제공하는 REPL과는 수준이 다르다는 것을 알수가 있겠다.

아직 perl의 언어 특성상 완벽한 REPL은 지원하지 못하지만 (package변수랑 lexical변수가 나주어져 있다던지, 클로져 구분이라던지..) PPI나 Moose를 통한 수준 높은 툴들에 위해 금방 해결 되라라 믿는다.