Saturday, July 3, 2010

essential utility (vi)

c 언어를 공부하다가 컴파일을 하게 되고 컴파일을 하다보니 자연스레 make 파일을 알게 되고.. 이와 같은 이유로 좀 더 깊게 알고 싶은 생각에 "유닉스, 리눅스 프로그래밍 필수 유틸리티 (백창우 저)" 를 보기 시작했다. 책은 내용은 프로그래밍을 시작하기 위한 편집기에서부터 컴파일의 자동화를 위한 유틸리티, 디버깅, 그룹 프로그래밍시 프로그램 에디팅 할 때의 버젼 업관리 까지 실직적으로 프로그래밍 시작부터 마무리까지에 필요한 유틸리티를 자세하게 설명하고 있다. 책의 내용이 상당히 많은 관계로 여기서는 가장 기본적인 컨셉과 나에게 도움이 될만한 예를 기록하는것으로 하겠다.


vi

vi 는 visual edit의 준말이라는것 (어떻게 이것이 비쥬얼이란 말이 들어간다는 건지.. 그 이전 시대의 에디터를 설명하나 감이 오진 않는다). 올해 나이로 얼추 서른, 최장수 소프트웨어 중 하나란다. 이 책에서는 vim(Vi Improved) 를 사용하길 권장하고 이를 기준으로 설명한다.

vim 은 3가지 모드로 구성된다.

- 명령모드 : 키 입력을 통해 vim에게 명령을 내리는 모드. 커서이동, 삭제, 복사, 붙이기 등 편집을 위한 모드.
- 입력모드 : 실제로 문서 입력 및 편집을 위한 모드. 타이핑하는데로 화면에 출력.
- ex모드 : 라인 에디터인 ex 에디터(vi 의 바탕이 된 소프트웨어)의 기능을 사용하는 모드. 파일 저장, 종료, 치환 등의 기능


명령 앞에 숫자를 넣게 되면 그 명령을 앞에 누른 숫자 만큼 반복한다는 의미가 있다. 예를 들어 10x 를 누르게 되면 x를 10번누른 효과, 즉 10개의 글자가 삭제되며, 10dd를 누르면 10개의 행이 삭제 된다. 또 다른 예를 보자면 10yw를 누른뒤에 2p를 누르게 되면 10개의 단어가 복사 되고 복사한 내용을 두번 붙여넣게 된다.

붙여넣기를 이해하기 위해서는 레지스트를 알아야 한다. vi 는 총 17개의 레지스트를 갖고 있으며 이를 보기 위해서는 ex모드에서 :reg 명령을 넣으면 된다. 명령모드에서 "1p를 누르게 되면 1번 레지스트에 있는 내용을 붙이게 된다.



v를 누른 후 방향키나 h j k l 를 이용하여 커서를 이동하면 블록을 형성할수 있다(마우스 우클릭 효과). ctrl + v 를 누르면 사각형의 블록을 지정하게 된다. 이후 d 나 y를 누르면 삭제 복사가 이루어 지고 <는 탭 제거, >탭 삽입.

되돌리기는 u 되살리기는 ctrl + r.

치환은 ex 모드에서 :[범위]/[매칭문자열]/[치환 문자열]/[행 범위]. 예를 들어 :2,4s/old/new/g 2,4s는 2행에서 4행을 의미하며 g는 행 전체에 걸쳐 매치되는 문자열을 치환하라는 의미이며 :-1,+3s/old/new/ 에서 -1,+3은 현재 커서에서 위로 1행 아래로 3행을 뜻하고 마지막에 g가 없으므로 행에서 첫 번째 매치 문자열만 치환하라는 뜻이다.


-vi 의 고급 테크닉-

정규표현식:
vi 는 정규 표현식을 지원한다.

내가 정규식에 약하기 때문에 (항상 공부하겠다고 하고 스킵한 이유로...) 이 부분은 자세히 하고자 한다.


[a-z]\+[0-9]\+ 는 소문자 하나 이상 숫자 하나이상을 의미 하는 것으로 'like0101' 이나 'korea1117'을 의미 한다. OK\ [a-z]* 은 OK 문자뒤 하나의 공백 뒤에 소문자가 0개 이상 반복을 의미한다. 곧 'OK like'를 의미한다. ^[^0-9]\+.*[a-z]$ 에서 괄호 앞의 ^ 행의 시작을 의미하며 괄호 안의 ^는 not을 의미 하고 \+는 1 이상, .은 '\n'을 제외한 문자를 *는 0개 이상, $는 행의 끝을 의미하므로 숫자로 시작하지 않는 행이며 행 가운데는 아무 문자가 있을수도 있고 끝이 소문자로 끝나는 행 을 지징하게 된다. \에서 \<는 단어의 시작을 의미하고 \>는 단어의 끝을 의미하므로 단어중에 ko로 시작하고 a 로 끝나는 단어 예를 들어 'korea' 등을 뜻하게 된다. [A-z]\+[0-9]\{2,3\}는 영문자로 시작하고 숫자가 최소 2번에서 3번 반복되는 단어 즉 'graphy21' 과 같은 단어를 뜻하게 된다.



vi는 POSIX 문자 클래스를 지원한다. 또한 확장 정규 표현식도 지원한다. 이는 생략하기로 한다.



여러 파일 편집시 예를 들어 vi를 이용해 확장자가 .py로 끝나는 파일을 열었다고 했을때(vi *.py) 열린 파일 리스트를 보기 위해서는 :ls 는 이용해 가능하고 지정 파일로의 이동은 :b2 (두번째 파일 버퍼를 의미한다) 식의 ex모드 명령어로 가능하다. :map 명령어는 단축키 지정시 사용한다.

vim 설정하기 : 사용자 홈 디렉토리에 .vimrc 파일을 생성하게 되면 vim은 실행 할때 이 파일을 읽어서 수행하게 된다. 그래서 .vimrc 파일을 이용해 원하는 사용자에 맞도록 vim를 설정할 수 있다. .vimrc파일에서 주석은 "로 시작한다.

매크로의 사용 : 예를 들어 perl로 코딩을 했는데 python에 익숙한 나머지 행 마지막에 ; 를 빼먹었다. 그러면 커서를 문장의 맨뒤로 보낸뒤 입력모드로 바꾸고 ;를 입력한다음 행을 바뀌야 한다. 이를 수행하는 과정을 나열하자면 $ i ; Esc Enter 이다 (물론 $ i 다음에 그냥 행아래로 내려가서 계속 ;를 넣으면 가능한긴하다). 이를 매번 치기 귀찮으니 명령어 과정을 vim에서 제공하는 레지스트(a-z 레지스트) 에 저장해서 이용할수 단축키로 이용 할수 있다. 명령모드에서 qb를 누르면 b레지스트에 기록시작을 뜻하며 $ i ; Esc Enter 를 순서대로 입력수 q를 누르면 b레지스트에 저장이 된다. 그뒤 다시 명령모드에서 5@b 라고 치면 b레지스트에 있는 매크로가 5번 수행하는 결과를 가져와서, 곧 5개의 행 뒤에 ;를 붙인다.

다중창 사용하기 :
Ctrl+w n : 가로 분할로 새창이 띄어짐, 여기서 :e 명령어로 파일을 불러올수 있다.
Ctrl+ww : 창간커서 전환
Ctrl+w s : 현재 파일을 가로로 분할, 같은 파일의 다른 부분을 참조할 때 이용한다.
Ctrl+w v : 현재 파일을 세로로 분할


-vim 의 조력자들 ctags, cscope, 기타 플러그 인-

연동 프로그램은 바이너리 형식의 실행 파일로 vim과 독자적으로 동작할수 있다. ctags, cscope, man등이 있다.
내장 스크립트는 vim이 기능확장을 위해 자체적으로 가지고 있는 것으로 vim 플러그 인아리 부르고 .vim의 확장자를 갖는 것으로 bufexplorer, taglist, calendar, vimspell등이 있다.

ctags :


-알아두면 유용한 팁-

파일 탐색 : :r !ls 는 원래 :!를 이용해 쉘명령어를 이용할수 있는데 :!ls를 하면 vim상태에서 ls를 실행하게 된다. 결국 ls 명령어로 출력되는 결과를 현재 커서의 위치에 삽입하라는 명령어가 된다.
:20vs ./ 이는 explorer 플러그 인이 설치 되어 있어야 한다. 파일의 리스트를 보고 싶을때 !ls를 이용할 수도 있지만 :20vs 를 이용하여 선택하면 바로 열리게 된다. 뒤의 ./는 현재 디렉토리를 뜻한다.

폴딩 기능 : 보기 싫은 긴 함수 같은 경우 '{' 위에 커서를 두고 v]}zf 명령어를 치면 함수가 폴딩되고 zo를 치면 다시 풀리게 된다. 사실 좀더 일반적으로 v로 영역을 지정하여 zf를 누르면 이부분이 폴딩된다. v는 앞에서 배운 드레그의 의미이다.

여러 행 앞에 탭 끼워넣기 : [N]>> 는 커서 위치서부터 N 행에 탭넣기 [N]<< 탭제거. 예를 들어 7>> 이면 7행 앞부분에 탭넣기가 된다.

자동 완성 기능 : 코딩중에 앞에서 사용한 함수 이름이나 변수를 일부만 치고 Ctrl+p를 누르면 앞에서 사용된 변수들 중 입력한 문자가 들어가는 변수들이 리스트업 된다.

Wednesday, June 30, 2010

The Zymomonas mobilis regulator hfq contributes to tolerance against multiple lignocellulosic pretreatment inhibitors

I will summarize article and make other sources come together for understanding and preparing our own paper.


Shihui Yang, Steven D Brown*

*They are doing research in Oak Ridge National Laboratory(http://www.esd.ornl.gov/). They are also studying on zymomonas mobilis. They published brief paper on Nature in last year about new annotation of
zymomonas mobilis and they announced genome sequence of AcR (acetate tolerant strain, but in reality it looks like it is tolerant on sodium) on PNAS.


In previous paper on PNAS(http://www.pnas.org/content/107/23/10395.full) they compared genome of AcR with ZM4 and found 1.5kb deletion that truncated ZMO0117 and DNA upstream of ZMO0119 (nhaA ; sodium proton antipoter) in AcR. They thought that the ZMO0117 promoter affected the expression of nhaA through deletion and this caused sodium acetate tolerance.

-background-

1.Demand for engineering of microbe : alternative energy is in need -> using agricultural biofuel, lignocellulosic biomass which is composed of cellulose is one method -> for fermentation by microbe, pretreament of biomass, breaking cellulose down into smaller molecule like 5- or 6-carbon sugar, is needed (http://biotech.about.com/b/2008/06/11/pretreatment-of-cellulosic-biomass.htm) -> this pretreatment produce inhibitor for microbe -> improved strain which is tolerant on these
inhibitors is developing by mutation.

2. Z.mobilis (Zymomonas mobilis) : ethanol tolerance, virtually unique
property among bacteria, 3~5 times higher productivity than S.cerevisiae and ethanol yield reaching 97% of theoretical maximum (http://www.nature.com/nbt/journal/v23/n1/full/nbt0105-40.html).
It use Entner-Doudoroff pathway for fermentation of glucose (6-C sugar, although some improved strain also use 5-C sugar). This pathway yield 1 ATP from conversion of 1 glucose into 2 ethanol, whereas glycolysis yield 2 ATP. Because Low ATP yield means low cell mass, Z.mobilis have higher potential than S.cerevisiae.







-the aim of this study-

Investigation the role of a hfq gene (ZMO0347) on multiple pretreatment inhibitor tolerances. htq is expressed more intensively in anaerobic stationary phase than aerobic condition (This fact was revealed by same author in BMC Genomics, http://www.biomedcentral.com/1471-2164/10/34). This gene is global regulator that acts as an R
NA chaperone and is involved in coordinating regulatory responses to multiple stresses.

There are some others focusing work such as utilization of specific plasmid and role of LSM protein in S.cerevisiae in this paper. But I will omit these things.

-results-

Using by blastP, they find hfq in ZM4 is similar with E.coli global regulator Hfq protein and Sm protein in S.cerevisiae. ---> An interesting thing is there is two Sm-like domain in ZM4's hfq.

They made AcRIM0347 by introduction of hfq insertion muation in AcR (Z.mobilis acetate tolerant strain).This . And they introduced plasmid p42-0347 (expressing hfq) into ZM4, AcR and AcRIM0347. ---> these can be specified as ZM4(p42-0347), AcR(p42-0347), AcRIM0347(p42-0347).







They tested growth of those above in various acetate counter-ions (NaCl, NaAc, NH4OAc, KAc) and in pretreatment inhibitors (vanillin,
furfural, HMF). ---> AcRIM0347
grow slowly than AcR, ZM4(p42-
0347) was able to grow in NaAc like AcR. AcRIM0347(p42-0347) recover growth to a certain degree in acetate counter-ions and inhibitors.



-conclusion-

hfq play an important role in tolerance to multiple biomass pretreatment inhibitors.






Monday, June 28, 2010

makefile 무엇일까

리눅스에서 수동으로 소스코드들을 컴파일 할때 Make를 많이 쓴다. 그럼 Make명령어를 위한 Makefile은 과연 무엇일까? 다음 아래 링크에 친절하게 설명되어 있다.

TPC/IP socket programming

C 언어를 급하게 마치고 저자 윤성우님의 팬이 되어서 윤성우님의 TCP/IP 프로그래밍을 공부하기로 마음 먹었다. 이제 TCP/IP 프로그래밍 시작!


Whole-Genome Sequencing Breaks the Cost Barrier

Someday I talked with my superior about direction of NGS and its affection to daily life on lunch break. I just told what I have previously from conversation with Keum(http://goldbio.blogspot.com). Maybe because of this, today morning suddenly my superior gave me a paper which is about trend of WGS. Anyhow I will summarize this one in this writing. The paper was published on June 11, 2010 in Cell .


Whole-Genome Sequencing Breaks the Cost Barrier

Laura Bonetta*

*Laura Bonetta is a freelance writer. she has written news and feature article in many top journals (http://www.linkedin.com/in/laurabonetta).

hmm.. It was originally planed to summarize this article.. but I think there is nothing new.
anyway..
the author introduced some research which is related to elucidation on causes of mendelian disease. Richard Gibbs of the Baylor College of Mdeicine in Texas sequenced the whole genome of his colleague who is suffering Charcot-Marie-Tooth disease (http://en.wikipedia.org/wiki/Charcot-Marie-Tooth_disease). He narrowed down the candidate genetic variations and confirmed that variations through identification from his colleague's siblings.
And the other research is exome sequencing of 500 genes that predispose to several childhood diseases by Leroy Hood and David Galas at the Institute for systems Biology in Seatttle. It will be one of the first gene sequencing-based tests to come on the market. Galas are preparing to sequence 30 individuals over 4 generation to answer the question "What does the mutation rate depend on?".
last one is researching on various aspect (transcriptome, epigenome, genome data) of identical twins discordant for multiple sclerosis. Although the researcher couldn't find any significant result from the their work, I think It's helpful to see article for reference how they approached on mixing multi-dimensional data.
And the author pointed out the obstacle of present sequencing tech. I will omit this part. this is pretty obvious tale.
About complex Disease.. the author introduce two points of view. From failure of GWAS, someone believe(Richard Lifton at Yale Univ.) individually rare variants with relatively large effects will play a substantial role on complex diseases or traits, while Kari Stefansson, president of the Icelandic company DeCode Genomics, think rare confluence of variants rather than just individual rare variants giving large effects. Well.. I think any opinion is not always right. That's biology and that's the reason for taking much time to solve biological system as you know.

It is sure that already the most research are using whole genome sequencing data or sort of that. The price of whole genome sequencing is gonna plummet, and the sequencing data will overflow. Preparing is needed to survive (Actually I don't like use the expression 'survive', because that sounds against one's will).


Monday, June 21, 2010

C 언어

다음은 초 단기로 c 언어를 공부하고 정말 기억해야 하는 것만 추스린 것이다. 이는 사실 velvet를 분해해보고 싶은 단순한 호기심에 의한 것이다(velvet이 c 로 되어 있다). 다음은 "C 프로그래밍 윤상우 저 (주)프리렉"을 참고로 한다.

함수내 변수 사용시 반드시 변수 선언이 우선되어야 한다.

음수를 표현할때 2의 보수 체계를 기억해야 한다.


정수형과 실수형은 메모리의 비트를 숫자화하는 방식이 다르다.

정수형은 int를 실수형은 double를 사용하길 권장한다.

const 를 이용한 심볼릭 상수 선언시 초기화를 동시에 해주어야 한다. 이는 상수라는 속성상 변화할수 없기때문에 선언시 값을 할당해주어야 하는것이다.

함수는 호출되기 전에 정의되거나 선언되어야 한다.

문자열 변수를 서식문자 %d로 받으면 주소가 %s로 받으면 문자열이 된다. 사실 포인터가 가리키는 value를 지칭하기 위해서는 *을 사용하는데 그렇기 때문에 char * str = "good" 이라고 정의했을때 "good"을 보기위해서는 마치 *str을 불러야 할거 같지만 정작 서식문자만 %s로 해준다면 str를 사용하는 것이 맞다.

배열의 이름은 포인터이지만 변할수 없는 상수 포인터이다.

포인터는 데이터 타입에 상관없이 4바이트를 갖는다.

int a = 3, int *pa = &a 라고 하고 함수 func()이 있다고 할때 func(&a)의 경우 call-by-reference가 되지만 func(pa)는 call-by-value
가 되며 두 경우 모두 func의 입장에서 받는 변수는 int * temp (포인터) 의 꼴이 되어야 한다.

다차원 배열, 예를 들어 이차원 배열, int arr[2][4] 가 있을 때 이를 가르키는 포인터는 int (*pArr)[4] 와 같이 포인터가 가르키는 변수의 데이터 타입 뿐만 아니라 포인터 연산시 증감 되는 바이트의 갯수도 명시해주어야 한다.

배열 arr이 있을때, arr[i] == *(arr+i) 이나 이것이 주소인지 값인지는 상황에 따라 달라진다. arr 이 1차 배열일 경우에는 값이지만 arr이 다차배열일 경우에는 arr[i] 역시 주소를 값으로 갖으므로 이는 주소를 뜻한다.

함수를 구동하기 위해서는 함수를 RAM에 올리게 되고 함수 이름은 함수의 위치를 나타내는 포인터가 된다. 포인터라함은 변수 이므로 이를 가르키는 함수 포인터를 만들 수 있으면 그 타입 선언은다음과 같다. 예를 들어 void func(char * str) 이라는 함수가 있을때 이를 가르키는 함수 포인터 정의는 void (*fPtr) (char*) = func 와 같다.

문자열 입력함수로 gets와 fgets 가 있지만 gets는 할당된 배열의 크기보다 큰 길이의 문자열이 입력 되었을때 overflow를 일으키므로 fgets 을 사용하는 것이 좋다.

필요한 함수를 찾아보고 싶은땐 C reference를 참고하자.

구조체란 하나 이상의 변수를 그룹 지어서 '사용자 정의 자료형'을 정의하는것이다. 구조체 멤버에 문자열 배열이 존재할 시에 그 변수에 문자열을 초기화 할시에는 strcpy함수를 이용해야 한다. 예를 들어 구조체 변수 person이 char name[10]을 멤버로 갖고 있을때 person.name = "김세환" 식으로 초기화를 하면 에러가 생기는데 이는 앞에서 언급한 내용(배열 이름은 상수 포인터이다)에 위배되는 문법이기 때문이다.

*연산자는 . 연산자에 비해 우선순위가 낮기 때문에 구조체 변수를 가르키는 포인터를 이용하기 위하선 (*pMan).name 식으로 괄호를 이용해야 한다. 혹은 pMan -> name 도 가능하다.

typeof 키워드를 이용하여 기본자료형에 사용자가 원하는 이름을 붙일 수도 있으며 이를 이용하여 구조체에 새로운 이름을 정의하여 구조체 변수 선언시 struct 를 넣지 않아도 되도록 할수 있다.

메모리(RAM)은 크게 데이터영역, 힙 영역, 스택 영역으로 나뉘며, 데이터 영역은 전역변수, static 변수가 스택영역은 지역변수, 매개 변수가 힙영역은 프로그래머가 할당한 변수가 자리잡게 된다. 변수의 특징에서 알수 있듯이 데이터 영역은 프로그램 시작과 동시에 변수가 메모리 할당되며 프로그램이 끝나야 메모리에서 지워진다. 반면에 스택영역의 변수는 함수가 호출될때 메모리를 할당되며 해당 함수가 끝나면 메모리에서 지워지며 힙영역의 변수는 프로그래머가 malloc(memory allocation의 약자) 를 통해 메모리를 할당하고 free 함수를 통해 메모리에서 지우게 된다.

스택 영역과 데이터 영역에 할당될 메모리의 크기는 컴파일되는 동안에 결정되어야 한다. 이것이 배열의 크기를 정할때 반드시 상수를 이용해야 하는 이유이다.

malloc에 의해 힙영역에 메모리를 잡을때 메모리가 부족하면 NULL을 리턴한다. 즉, 항상 malloc으로 힙 영역에 메모리를 지정하면 메모리가 여유가 있지 않을수 있음을 확인해야 한다. 또한 힙 영역에 저장된 변수는 반드시 포인터를 통해서만 접근 가능하다.

컴파일을 더 세분화시키면 전처리(preprocess)와 컴파일로 나뉜다. #로 시작하는 문장은 전처리기 지시자라고 하며 #define은 단순 치환 작업을 요청할 때 사용되는 지시자이다. 예를 들어 #define PI 3.1415라고 하면 소스에서 PI라고 되어있는 것을 3.1415로 전처리 과정에서 치환하라는 뜻이며 PI를 매크로 3.1415를 대체 리스트라고 하며 #define 지시자를 통해 매크로 함수도 선언 할수 있다.

#if, #elif, #else, #endif 는 전처리기에게 조건을 제시한다. 곧 컴파일러에 의해 컴파일되기 전에 전처리기가 위의 조건문을 보고 코드에 소스를 넣는다.
#ifndef, #endif는 헤어파일이 중복 포함되어 있음을 방지 하고자 하는것으로 #ifndef (if not defined) 는 #define이 전처리 지시자가 따라야 한다. 곧 #define에 의해 특정 변수가 정의되어 있는가로 #ifndef로 확인하고 정의되어 있지 않으면 #ifndef, #endif  안에 구문을 넣게된다. #if defined() || defined() 등에 여러개를 확인하기 위해서는 if defined를 사용해야 한다.